首页 > 编程学习 > NNDL 实验八 网络优化与正则化(2)批大小的调整

7.2 批大小的调整实验

为了观察不同批大小对模型收敛速度的影响,我们使用经典的LeNet网络进行图像分类。

  • 调用paddle.vision.datasets.MNIST函数读取MNIST数据集,并将数据进行规范化预处理。
  • 使用paddle.vision.models.LeNet快速构建LeNet网络
  • 使用paddle.io.DataLoader根据批大小对数据进行划分
  • 使用交叉熵损失函数
  • 标准的随机梯度下降优化器paddle.optimizer.SGD

通常情况下,批大小与学习率大小成正比。

选择批大小为16、32、64、128、256的情况进行训练。

相应地,学习率大小被设置为0.01、0.02、0.04、0.08、0.16。

  • 可视化损失函数的变化趋势
  • 尝试画出按迭代的损失变化图,观察不同的批大小在两种损失图中的下降效果是否相同。

对比下面两种实验设置,分析和比较它们的区别。

  1. 批大小增大一倍,学习率不变。
  2. 批大小不变,学习率减少一半。
Copyright © 2010-2022 dgrt.cn 版权所有 |关于我们| 联系方式