梯度下降：下山找最低点

实验目的

理解梯度下降的基本思想，认识学习率对下降过程的影响。

实验原理

梯度指向函数值上升最快的方向，所以沿负梯度方向前进，函数值会下降。参数更新公式为 w新 = w旧 − η·∇L(w)，其中η是学习率，决定每步的大小。学习率过大会来回震荡甚至无法收敛，过小则下降很慢；函数有多个低谷时，还可能停在局部最小值而非全局最小值。

实验器材

• 损失函数曲线（山形）
• 起始位置
• 当前位置（下山的人）
• 学习率
• 下降路径
• 最低点

实验步骤

1. 观察损失函数的形状，选择或确定一个起点。
2. 设置学习率，让位置沿坡度下降一步。
3. 连续下降，观察位置和函数值的变化。
4. 调大、调小学习率，比较到达最低点的快慢与稳定性。
5. 更换起点，观察是否会停在不同的低处。

实验现象与结论

学习率适中时，位置平稳地接近最低点，步长随坡度变缓而变小；学习率过大时来回跳动，甚至越走越高；过小则需要很多步。起点不同，有时会落入不同低谷。结论：学习率是影响训练效果的关键参数。

常见问题

学习率太大或太小会怎样？

太大容易来回震荡甚至发散，太小则收敛很慢，需要选择合适的值。

梯度下降一定能找到全局最低点吗？

不一定。函数有多个低谷时，可能停在局部最小值，与起点和学习率有关。