正则项会消除正规方程法可能的不可逆性
# Normal Equation Non-invertibility & Regularization
2021-09-10
Tags: #NormalEquation #Regularization
$(X^{T} X+\lambda \cdot L)$的内部如下图所示:
最关键的位置就是最左上角的那个地方, 如果那个位置不为0 (或者第一行/列上某个位置不为零, 也可以移过去), 那么容易知道这个矩阵一定可逆(满秩), 因为L就是单位矩阵除去第一个1.
如果上面第一行第一列元素全部为零, 那么一定是因为第一个特征($\theta_0$对应的特征)构成的向量为零向量(X里面黄色的部分), 但是如果是这样, 将这一列与其他特征交换, 便可在乘积矩阵的第一行/列得到非零的元素(因为不可能有两个特征都是零向量, 如果有, 那么便是多余的向量, 删除便可(emm这样一想好像零向量本来就是多余的)) 从而得知最后的矩阵加和一定是满秩的, 证毕.