Cyan's Blog

Search

Search IconIcon to open search

MIT_18.065-Part_11-SVD_&_Linear_System

Last updated Nov 18, 2021 Edit Source

# SVD & Linear System

2021-11-18

Tags: #LinearRegression #SVD #Math/LinearAlgebra

# $Ax=b$

对于这个线性约束方程组: $$Ax=b$$

只有在A可逆的方阵的时候, 才有唯一解: $$x=A^{-1}b$$

而在A为其他形状的时候, 常常不能够简单的利用$A^{-1}$来求解这个方程组

# Pseudo-Inverse & SVD

这样, 我们就通过SVD得到了广义逆

在$A$是可逆方阵的时候, 广义逆等于$A^{-1}$ : $$A^{-1}=(U\Sigma V^T)^{-1}={(V^T)}^{-1}\Sigma^{-1}U^{-1}=V\Sigma^{-1}U^T$$

# Using Pseudo-Inverse to Solve $Ax=b$

$$x=A^+b$$ $$x=V\Sigma^{-1}U^Tb$$

我们得到的近似解$\hat x$到底是什么呢? 我们可以再计算$A\hat x$ : $$\begin{aligned}A\hat x&=AA^+b\\ &=(U\Sigma V^T)(V\Sigma^{-1}U^T)b\\ &=UU^Tb\end{aligned}$$

注意: 如果我们的U是Economy SVD里面的$\hat U$, 即只取有效的前r列的U, 那么$UU^T\neq I$.

Source: Linear Systems of Equations, Least Squares Regression, Pseudoinverse - YouTube