Part.19_Regularized_Linear_Regression(ML_Andrew.Ng.)

Last updated Sep 10, 2021 Edit Source

• All
• Machine learning
• Regularization
• Gradient descent
• Linear regression
• Normal equation

Tags: #MachineLearning #Regularization #GradientDescent #LinearRegression #NormalEquation

添加了正则项之后有两点需要注意:

• $\theta_0$需要单独处理 (不需要正则约束, 损失函数不一样)
• $\theta_1 \sim \theta_n$ 因为需要正则化, 损失函数$J(\theta)$发生了变化, 梯度需要重新计算
• 正则项不影响线性回归损失函数的凸性

  正则项不影响线性回归损失函数的凸性

  正则项不影响线性回归损失函数的凸性 2021-09-10 Tags: #MachineLearning #Regularization #GradientDescent #LinearRegression #ConvexOptimization Question: 加上正则项以后函数还是凸的吗? 梯度下降还适用吗? 还是适用的, 证明如下 首先, 如何证明一个函数为凸函数? 如果$f$是二阶可微的，那么如果$f$的定义域是凸集，并且$\forall x\in dom(f), \nabla^2 f(x)\geqslant0$，那么$f$ 就是一个凸函数. 严格凸函数则要求二阶导数恒大于零 $dom(f)$意指函数$f$的定义域(Domian) 我们首先证明没有正则项的$J(\theta)$是凸的 $$\begin{aligned} \frac{\partial}{\partial \theta_{j}} J(\theta) &=\frac{1}{2...

  11/19/2023

同时考虑上面两点, 梯度下降更新公式变为了:

\begin{aligned} Re&peat\space {\\ &\theta_{0}:=\theta_{0}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{0}^{(i)} \\ &\theta_{j}:=\theta_{j}-\alpha\left[ \frac{1}{m} \sum_{i=1}^{m} \left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)}+\frac{\lambda}{m} \theta_{j}\right] \quad\quad j \in{1,2 \ldots n} \\ } \end{aligned} 要是把方括号打开, 第二行的更新公式可以变为: $$\theta_{j}:=\theta_{j}\left(1-\alpha\frac\lambda m\right) -\alpha\frac{1}{m} \sum_{i=1}^{m} \left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)} \quad\quad j \in{1,2 \ldots n}$$ 因为$\left(1-\alpha\frac\lambda m\right)$一定小于1, 所以这个更新公式每次都会缩小一点点$\theta_i$, 而公式的后半部分和没有正则化的公式是完全一样的.

• 没有正则化的公式: $$\theta=\left(X^{T} X\right)^{-1} X^{T} \vec{y}$$ ( Definition

  Part.9_Normal_Equation(ML_Andrew.Ng.)

  Normal Equation 2021-08-14 Tags: #MachineLearning #NormalEquation #LinearRegression Normal Equation 是解 线性回归(Linear Regression) 问题的一种代数方法. Definition The value of $\theta$ that minimizes $J(\theta)$ can be...

  11/19/2023

  )

• 加入正则项以后:

$$\begin{aligned} &\theta=(X^{T} X+\lambda \cdot L)^{-1} X^{T} \vec y \\ &\text { where } L=\left[\begin{array}{cccc} 0 & & & & \\ & 1 & & & \\ & & 1 & & \\ & & & \ddots & \\ & & & & 1 \end{array}\right]_{(n+1)\times(n+1)} \end{aligned}$$

^72311a

$L$的第一个0可以理解为不用正则化$\theta_0$

• 在没有正则化以前$(X^{T} X+\lambda \cdot L)$可能不可逆, 但是正则化以后是一定可逆的: 证明:正则项会消除正规方程法可能的不可逆性

  正则项会消除正规方程法可能的不可逆性

  Normal Equation Non-invertibility & Regularization 2021-09-10 Tags: #NormalEquation #Regularization .md#^72311a) $(X^{T} X+\lambda \cdot L)$的内部如下图所示: 最关键的位置就是最左上角的那个地方, 如果那个位置不为0 (或者第一行/列上某个位置不为零, 也可以移过去), 那么容易知道这个矩阵一定可逆(满秩), 因为L就是单位矩阵除去第一个1. 如果上面第一行第一列元素全部为零, 那么一定是因为第一个特征($\theta_0$对应的特征)构成的向量为零向量(X里面黄色的部分),...

  11/19/2023