admin 管理员组

文章数量: 886993

caffe学习率策略(lr

原文链接地址：

在caffe源码的caffe-master/sec/caffe/proto/caffe.proto下记录了不同的学习策略的计算方法：

// The learning rate decay policy. The currently implemented learning rate
// policies are as follows://    - fixed: always return base_lr.//    - step: return base_lr * gamma ^ (floor(iter / step))//    - exp: return base_lr * gamma ^ iter//    - inv: return base_lr * (1 + gamma * iter) ^ (- power)//    - multistep: similar to step but it allows non uniform steps defined by//      stepvalue//    - poly: the effective learning rate follows a polynomial decay, to be//      zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)//    - sigmoid: the effective learning rate follows a sigmod decay//      return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))//// where base_lr, max_iter, gamma, step, stepvalue and power are defined// in the solver parameter protocol buffer, and iter is the current iteration.// where base_lr, max_iter, gamma, step, stepvalue and power are defined
// in the solver parameter protocol buffer, and iter is the current iteration.optional string lr_policy = 8;optional float gamma = 9; // The parameter to compute the learning rate.optional float power = 10; // The parameter to compute the learning rate.optional float base_lr = 5; // The base learning rate// the stepsize for learning rate policy "step"optional int32 stepsize = 13;
// the stepsize for learning rate policy "multistep"repeated int32 stepvalue = 34;

在实际训练中，使用较多的学习策略有fixed，step，inv，multistep，具体的使用方法参考《Caffe中学习率策略应如何选择》

下面具体说下每种学习策略的曲线变换：

1、fixed

base_lr: 0.01
lr_policy: "fixed"
max_iter: 400000

学习率：保持不变

2、step

base_lr: 0.01
lr_policy: "step"
gamma: 0.1
stepsize: 30
max_iter: 100

学习率计算：base_lr * gamma ^ (floor(iter / step))

3、exp

base_lr: 0.01
lr_policy: "exp"
gamma: 0.1
max_iter: 100

学习率计算：base_lr * gamma ^ iter 

参数 gamma 的值要小于1。当等于1的时候，学习策略变为了 fixed。由exp的学习率计算方式可以看出，在 gamma = 0.1 的情况下，学习率每迭代一次变为上一次迭代的0.1倍。

4、inv

base_lr: 0.01
lr_policy: "inv"
gamma: 0.1
power: 0.75
max_iter: 10000

学习率计算：base_lr * (1 + gamma * iter) ^ (- power)

由上图可以看出，参数 gamma 控制曲线下降的速率，而参数 power 控制曲线在饱和状态下学习率达到的最低值。

5、multistep

base_lr: 0.01
lr_policy: "multistep"
gamma: 0.5
stepvalue: 1000
stepvalue: 3000
stepvalue: 4000
stepvalue: 4500
stepvalue: 5000
max_iter: 6000

学习率计算：与step类似

每一次学习率下降到之前的 gamma 倍。

6、poly

base_lr: 0.01
lr_policy: "poly"
power: 0.5
max_iter: 1000

学习率计算：base_lr (1 - iter/max_iter) ^ (power)

学习率曲线的形状主要由参数 power 的值来控制。当 power = 1 的时候，学习率曲线为一条直线。当 power < 1 的时候，学习率曲线是凸的，且下降速率由慢到快。当 power > 1 的时候，学习率曲线是凹的，且下降速率由快到慢。

7、sigmoid

base_lr: 0.01
lr_policy: "sigmoid"
gamma: -0.001
stepsize: 5000
max_iter: 10000

学习率计算：base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))

    参数 gamma 控制曲线的变化速率。当 gamma < 0 时，才能控制学习率曲线呈下降趋势，而且 gamma 的值越小，学习率在两头变化越慢，在中间区域变化越快。

本文标签： caffe学习率策略(lr

版权声明：本文标题：caffe学习率策略(lr 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1732355526h1534323.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。