深度学习之Epoch、Batch、Iteration

Epoch：使用全部的训练数据对模型进行一次完整的训练，称之为“一代训练”。俗称一个Epoch。

Batch：使用训练集中划分出来的一部分数据对神经网络模型进行一次方向传播的参数更新，这一小部分称为“一批数据”，俗称一个Batch。

Iteration：使用一个Batch数据对模型进行一次参数更新的过程，称为一次训练，俗称一个Iteration，一次迭代。

mnist 数据集有 $深度学习之Epoch、Batch、Iteration$ 张图片作为训练数据， $深度学习之Epoch、Batch、Iteration$ 张图片作为测试数据。假设现在选择 Batch_Size = $深度学习之Epoch、Batch、Iteration$ 对模型进行训练。迭代 $深度学习之Epoch、Batch、Iteration$ 次。

每个 Epoch 要训练的图片数量： $深度学习之Epoch、Batch、Iteration$ (训练集上的所有图像)
训练集具有的 Batch 个数： $深度学习之Epoch、Batch、Iteration$
每个 Epoch 需要完成的 Batch 个数： $深度学习之Epoch、Batch、Iteration$
每个 Epoch 具有的 Iteration 个数： $深度学习之Epoch、Batch、Iteration$ （完成一个Batch训练，相当于参数迭代一次）
每个 Epoch 中发生模型权重更新的次数： $深度学习之Epoch、Batch、Iteration$
训练 10 个Epoch后，模型权重更新的次数： $深度学习之Epoch、Batch、Iteration$
不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的 $深度学习之Epoch、Batch、Iteration$ 图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
总共完成30000次迭代，相当于完成了 $深度学习之Epoch、Batch、Iteration$ 个Epoch

深度学习之Epoch、Batch、Iteration

相关推荐