admin 管理员组

文章数量: 887021

Epoch, Batch, Iteration 区别

Author:龙箬
Computer Application Technology
Change the World with Data and Artificial Intelligence !
CSDN@weixin_43975035
多数人因看见而相信，但少数人因相信而看见

Epoch: 所有训练样本训练一次过程（所有训练样本在神经网络中都进行了一次正向传播 和一次反向传播）
Batch: 将整个训练样本分成若干个Batch（批 / 一批样本）
Iteration: 一次Iteration即训练一个Batch。

总结：
epoch指的是次数，epoch = 100 指的是把整个数据集丢进神经网络训练100次。
batch size 指的是数据的个数，batch size = 100 指的是每次扔进神经网络训练的数据是100个。
iteration同样指的是次数，iteration = 100 指的是把整个数据集分成100次扔进神经网络。

举例如下：
Mnist 数据集（手写体数字识别）有60000张图片作为训练数据，10000张图片作为测试数据。假设现在选择 Batch_Size = 200，对模型进行训练。迭代60000次。

每个 Epoch 要训练的图片数量：60000(训练集上的所有图像)
训练集具有的 Batch 个数：60000/200 = 300
每个 Epoch 需要完成的 Batch 个数：300
每个 Epoch 具有的 Iteration 个数：300（完成一个Batch训练，相当于参数迭代一次）
每个 Epoch 中发生模型权重更新的次数：300
训练 10 个Epoch后，模型权重更新的次数： 300*10=3000
不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的60000图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
总共完成60000次迭代，相当于完成了个60000/300 = 200Epoch

如有侵权，请联系侵删
需要本实验源数据及代码的小伙伴请联系QQ:2225872659

本文标签： epoch batch Iteration 区别

版权声明：本文标题：Epoch, Batch, Iteration 区别 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1686600480h15523.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。