大语言模型：从预训练到对齐

实验目的

理解大语言模型三个训练阶段的目标，以及对齐的意义。

实验原理

预训练：在海量文本上以“预测下一个词”为目标训练参数，学到语言和知识的统计规律。指令微调：用“指令—回答”示例继续训练，使模型学会遵循指令。对齐：利用人类对回答的偏好反馈（如基于人类反馈的强化学习）调整模型，使输出更符合人类期望和安全要求。

实验器材

• 预训练阶段（海量文本语料）
• 指令微调阶段（指令—回答示例）
• 对齐阶段（人类偏好反馈）
• 各阶段模型的输出对比
• 互动演示的阶段切换控件

实验步骤

1. 先看预训练阶段，了解训练数据和“预测下一个词”的目标。
2. 观察只经过预训练的模型面对提问时的输出特点。
3. 进入指令微调阶段，查看指令—回答示例的作用。
4. 进入对齐阶段，了解人类偏好反馈如何调整回答。
5. 对比三个阶段的输出，概括各阶段的作用。

实验现象与结论

只经过预训练的模型擅长续写文本，但不一定按提问作答；指令微调后更能遵循要求；对齐后回答更贴近人类偏好，更有用、更安全。结论：三个阶段目标不同、依次叠加，共同决定模型的最终表现。

注意事项

• 对齐不能保证模型不出错，重要信息仍需核实。

常见问题

预训练和微调有什么区别？

预训练用海量文本学习语言规律；微调用较少的针对性数据继续训练，使模型更会完成特定任务或遵循指令。

为什么大模型还需要对齐？

预训练只学会“像人写的文字”，不保证有用、无害、诚实。对齐用人类偏好引导输出，使回答更符合期望。