正则项不影响线性回归损失函数的凸性

正则项不影响线性回归损失函数的凸性 2021-09-10 Tags: #MachineLearning #Regularization #GradientDescent #LinearRegression #ConvexOptimization Question: 加上正则项以后函数还是凸的吗? 梯度下降还适用吗? 还是适用的, 证明如下 首先, 如何证明一个函数为凸函数? 如果$f$是二阶可微的，那么如果$f$的定义域是凸集，并且$\forall x\in dom(f), \nabla^2 f(x)\geqslant0$，那么$f$ 就是一个凸函数. 严格凸函数则要求二阶导数恒大于零 $dom(f)$意指函数$f$的定义域(Domian) 我们首先证明没有正则项的$J(\theta)$是凸的 $$\begin{aligned} \frac{\partial}{\partial \theta_{j}} J(\theta) &=\frac{1}{2...

11/19/2023