好的预测模型的特质

Last updated Feb 14, 2022 Edit Source

• All
• Deep learning

Tags: #DeepLearning

• 泛化性的角度:

  • 我们期待“好”的预测模型能在未知的数据上有很好的表现： 经典泛化理论认为，为了缩小训练和测试性能之间的差距，应该以简单的模型为目标。
  • 简单性以较小维度的形式展现. 此外, $L_2$ 正则化的有效性也说明, 参数的范数也代表了一种有用的简单性度量。

• 简单性的另一个角度是平滑性，即函数不应该对其输入的微小变化敏感。 例如，当我们对图像进行分类时，我们预计向像素添加一些随机噪声应该是基本无影响的。 1995年，克里斯托弗·毕晓普证明了 具有输入噪声的训练等价于Tikhonov正则化。 这项工作用数学证实了“要求函数光滑”和“要求函数对输入的随机噪声具有适应性”之间的联系。

  • 平滑的函数能较好地适应输入的随机噪声

  • Dropout 就是在前向传播过程中，计算每一内部层的同时注入噪声，从而增加模型的平滑性.