Tag: NormalEquation

• Sep 10, 2021

  Part.19_Regularized_Linear_Regression(ML_Andrew.Ng.)

  Part.19_Regularized_Linear_Regression(ML_Andrew.Ng.)

  Regularization & Linear Regression 2021-09-10 Tags: #MachineLearning #Regularization #GradientDescent #LinearRegression #NormalEquation Regularization & Gradient Descent 添加了正则项之后有两点需要注意: $\theta_0$需要单独处理 (不需要正则约束, 损失函数不一样) $\theta1 \sim \thetan$ 因为需要正则化, 损失函数$J(\theta)$发生了变化,...

  11/19/2023

  • All
  • MachineLearning
  • Regularization
  • GradientDescent
  • LinearRegression
  • NormalEquation

• Sep 10, 2021

  正则项会消除正规方程法可能的不可逆性

  正则项会消除正规方程法可能的不可逆性

  Normal Equation Non-invertibility & Regularization 2021-09-10 Tags: #NormalEquation #Regularization .md#^72311a) $(X^{T} X+\lambda \cdot L)$的内部如下图所示: 最关键的位置就是最左上角的那个地方, 如果那个位置不为0 (或者第一行/列上某个位置不为零, 也可以移过去), 那么容易知道这个矩阵一定可逆(满秩), 因为L就是单位矩阵除去第一个1. 如果上面第一行第一列元素全部为零, 那么一定是因为第一个特征($\theta_0$对应的特征)构成的向量为零向量(X里面黄色的部分),...

  11/19/2023

  • All
  • NormalEquation
  • Regularization

• Aug 14, 2021

  Part.9_Normal_Equation(ML_Andrew.Ng.)

  Part.9_Normal_Equation(ML_Andrew.Ng.)

  Normal Equation 2021-08-14 Tags: #MachineLearning #NormalEquation #LinearRegression Normal Equation 是解 线性回归(Linear Regression) 问题的一种代数方法. Definition The value of $\theta$ that minimizes $J(\theta)$ can be...

  11/19/2023

  • All
  • MachineLearning
  • NormalEquation
  • LinearRegression