训练集、测试集与过拟合

实验目的

理解训练集与测试集的作用，能判断过拟合和欠拟合。

实验原理

训练集用来学习模型参数，测试集用来评估模型对新数据的泛化能力。模型过于简单，训练误差和测试误差都大，称为欠拟合；模型过于复杂，会把训练数据中的噪声也记住，训练误差很小而测试误差变大，称为过拟合。

实验器材

• 带噪声的数据点
• 训练集与测试集的划分
• 模型复杂度调节控件
• 训练误差与测试误差显示

实验步骤

1. 观察数据被划分为训练集和测试集
2. 用较低复杂度的模型拟合，记录两种误差
3. 逐步提高模型复杂度，观察拟合曲线的变化
4. 对比训练误差和测试误差的变化趋势
5. 找出测试误差最小时对应的复杂度

实验现象与结论

复杂度提高时，训练误差通常持续减小，而测试误差先减小后增大，曲线会出现明显弯曲。结论：不能只看训练误差，应以测试集上的表现选择模型，避免过拟合。

常见问题

为什么不能用训练集来评价模型？

模型已经见过训练集，成绩会偏好，无法反映它面对新数据时的真实表现。

怎样减轻过拟合？

可以增加训练数据、降低模型复杂度，并用测试集或验证集监控表现。