强化学习：小车走迷宫

实验目的

理解智能体、环境、动作、奖励等概念，体会强化学习通过试错改进策略的过程。

实验原理

强化学习中，智能体（小车）在某个状态下选择动作，环境给出奖励或惩罚并转入新状态。智能体通过多次尝试，学习使累计奖励最大的策略。常见方法如Q学习，用Q值估计“在某状态采取某动作”的长期收益，并在每次尝试后不断更新。学习中还需要兼顾探索新路线和利用已知好路线。

实验器材

• 迷宫环境
• 小车（智能体）
• 终点（获得奖励）
• 墙壁或陷阱（受到惩罚）
• 训练轮数
• 小车行走路径

实验步骤

1. 观察迷宫的布局，找出起点、终点和障碍。
2. 说明小车的动作（如上下左右移动）与奖励规则。
3. 开始训练，观察小车最初的行走路径。
4. 增加训练轮数，观察路径和到达终点的情况如何变化。
5. 更换迷宫或调整设置，比较学习速度的差异。

实验现象与结论

训练初期，小车常撞墙、绕远路，路线杂乱；随着训练轮数增加，路径逐渐变短，无效move减少，最终能较稳定地到达终点。结论：智能体可以依靠奖励反馈不断改进策略，不需要人工事先告知正确路线。

注意事项

• 训练轮数太少时结果不稳定，不能据此判断方法无效。

常见问题

强化学习和监督学习有什么区别？

监督学习依靠带标签的数据；强化学习没有标准答案，靠与环境交互得到的奖励来学习。

为什么小车一开始总是乱走？

初期还没有积累经验，需要通过尝试来探索环境，训练越多，策略才越合理。