AI 安全与对齐互动演示

实验目的

了解 AI 安全风险的主要类型，理解“对齐”的含义和常见做法。

实验原理

模型按照设定的目标或奖励去优化，如果目标没有准确表达人的意图，就可能出现“钻空子”的行为，即目标错位。此外还有生成错误内容（幻觉）、对抗样本、提示词注入等风险。常见应对做法包括引入人类反馈训练、红队测试、内容安全审核、权限限制和人工监督。

实验器材

• AI 对话或决策的示例场景
• 目标设定与实际行为的对比
• 典型风险案例（幻觉、对抗样本、提示词注入等）
• 安全措施选项（审核、权限限制、人工监督）

实验步骤

1. 阅读场景，明确人类希望 AI 完成的目标
2. 观察 AI 的实际输出或行为，判断是否与目标一致
3. 找出出现偏差的原因，如目标不清、数据不足或被误导
4. 选择安全措施并应用，比较前后结果
5. 总结不同风险对应的应对方法

实验现象与结论

在未加约束时，AI 可能按字面目标行事而偏离真实意图，或给出看似合理但错误的内容。加入人类反馈、安全审核和人工监督后，输出更符合预期。结论：AI 的安全与对齐需要技术手段、制度规范和人类监督共同保障。

常见问题

什么是 AI 对齐？

指让 AI 系统的目标和行为与人类的真实意图、价值观保持一致，避免只满足字面指令而产生有害结果。

大模型的“幻觉”是什么？

指模型生成了看似流畅合理、实际却不符合事实的内容，使用时需要核实来源。