深度学习调参小技巧——学习率
对应学习率的设置,我一般设置的比较大,为0.01如果loss不降并且维持着较大值,这是由于学习率过大,导致每一步走的比较大,从而错过了最优点;loss降了一会后,一直不降了,这也需要我们降低学习率,通常我是通过 learning_rate /= 2 降低的;观察loss比观察acc要好...
·
对应学习率的设置,我一般设置的比较大,为0.01
- 如果
loss不降并且维持着较大值,这是由于学习率过大,导致每一步走的比较大,从而错过了最优点; loss降了一会后,一直不降了,这也需要我们降低学习率,通常我是通过learning_rate /= 2降低的;- 观察
loss比观察acc要好
更多推荐
所有评论(0)