机器人从模仿中学习

实验目的

理解模仿学习的基本流程，认识示范数据对学习效果的影响。

实验原理

模仿学习中最基本的方法是行为克隆：收集示范中的“状态—动作”数据对，用监督学习训练策略模型，使模型在给定状态下输出的动作尽量接近示范动作，例如最小化 L = (π(s) − a)² 的平均值。局限是机器人一旦偏离示范覆盖的状态，误差可能不断累积。

实验器材

• 机器人
• 人类示范轨迹
• 示范数据（状态与动作）
• 学习得到的策略
• 任务环境

实验步骤

1. 观察人类示范是怎样完成任务的
2. 查看示范数据，认识“状态”和“动作”的对应关系
3. 让机器人用学到的策略执行任务
4. 比较机器人的动作与示范的差别
5. 观察机器人偏离示范路线后的表现
6. 如可以，增加示范数据后再比较效果

实验现象与结论

在示范覆盖到的情境中，机器人动作与示范相近；遇到示范中少见的情境时，动作可能出现偏差并逐步放大。示范越丰富，学习效果通常越好。结论：模仿学习依赖高质量、覆盖面广的示范数据。

常见问题

模仿学习和强化学习有什么区别？

模仿学习从示范数据中学习；强化学习则让机器人通过试错，根据奖励信号改进策略。

为什么机器人偏离示范后容易越错越多？

示范里很少包含偏离后的情况，模型没学过如何纠正，误差会逐步累积。