Mean_Squared_Error_均方误差

Last updated Jul 31, 2021 Edit Source

• All
• Machine learning
• Cost function

Tags: #MachineLearning #CostFunction

Mean Square Error: 平均平方误差, 简称均方差, MSE, 又称 Mean Squared Deviation (MSD)

均方差的形式很简单, 但是也有许多问题值得思考

• 为什么采用平方, 而不是绝对值, 三次方等等

Why_do_cost_functions_use_the_square_error/为什么损失函数要使用均方误差

均方误差有非常好的几何意义, 它对应了常用的欧几里得距离或简称"欧氏距离" (Euclidean distance). 基于均方误差最小化来进行模型求解的方法称为"最小二乘法" (least square method). 在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小.¹

^0a7c67

$$J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(\hat{y}^{(i)}-y^{(i)}\right)^{2}=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$$ Cost Function ML_Andrew.Ng.

The mean is halved $\left(\frac{1}{2}\right)$ as a convenience for the computation of the gradient descent, as the derivative term of the square function will cancel out the $\frac{1}{2}$ term.²

Also: Regarding the frac1 2 term