梯度的方向是哪个方向-为什么梯度是函数增长最快的方向
# 为什么梯度是函数增长最快的方向
Tags: #Math
看这篇文章可快速回顾高数: https://zhuanlan.zhihu.com/p/38525412
# Key Idea
对于任意方向一个增量 $\Delta z=f\left(x_{0}+t \cos \alpha, y_{0}+t \sin \alpha\right)-f\left(x_{0}, y_{0}\right)$
函数沿此方向的变化率为: $$ \lim {t \rightarrow 0^{+}} \frac{f\left(x{0}+t \cos \alpha, y_{0}+t \sin \alpha\right)-f\left(x_{0}, y_{0}\right)}{t}=f_{x}\left(x_{0}, y_{0}\right) \cos \alpha+f_{y}\left(x_{0}, y_{0}\right) \sin \alpha $$
由于上式可以看成两个向量的内积, 即以下两个向量: $\mathbf{g}=\left(f_{x}\left(x_{0}, y_{0}\right), f_{y}\left(x_{0}, y_{0}\right)\right)$ $\mathbf{e}{l}=(\cos \alpha, \sin \alpha)$ 则: $f{x}\left(x_{0}, y_{0}\right) \cos \alpha+f_{y}\left(x_{0}, y_{0}\right) \sin \alpha=\mathbf{g} \cdot \mathbf{e}{l}=\left|\mathbf{g} | \mathbf{e}{l}\right| \cos \theta=\textcolor[RGB]{203,77,73}{|\mathbf{g}| \cos \theta}$
其中， $\theta$ 为 $\mathbf{g}$ 和 $\mathbf{e}_{l}$ 的夹角。所以根据夹角:
- 当 $\theta=0$ 时, 即 $\mathbf{e}{l}$ 和 $\mathbf{g}$ 方向相同时，函数变化率最大，且在点 $\left(x{0}, y_{0}\right)$ 处呈上升趋势;
- 当 $\theta=\pi$ 时，即 $\mathbf{e}{l}$ 和 $\mathrm{g}$ 方向相反时，函数变化率最大，且在点 $\left(x{0}, y_{0}\right)$ 处呈下降趋势;
而梯度的定义是:
设二元函数 $z=f(x, y)$ 在平面区域D上具有一阶连续偏导数，则对于每一个点P $(x, y)$ 都可定出一个向量 $\left{\frac{\partial f}{\partial x}, \frac{\partial f}{\partial y}\right}=f_{x}(x, y) \bar{i}+f_{y}(x, y) \bar{j}$,该函数就称为函数 $z=f(x, y)$ 在点 $P(x, y)$ 的梯度, 记作$grad\space f (x, y)$ 或 $\nabla f(x, y)$,即有: $$grad\space f (x, y)=\nabla f(x, y)=\left{\frac{\partial f}{\partial x}, \frac{\partial f}{\partial y}\right}=f_{x}(x, y) \vec{i}+f_{y}(x, y) \vec{j}$$ 其中 $\nabla=\frac{\partial}{\partial x} \vec{i}+\frac{\partial}{\partial y} \vec{j}$ 称为二维的) 向量微算子或$Nabla$算子, $\nabla f=\frac{\partial f}{\partial x} \vec{i}+\frac{\partial f}{\partial y} \vec{j}$ 。
所以梯度的方向就是向量$\mathbf{g}$的方向, 方向导数在梯度方向取得最大值, 该最大值为梯度的模: $$|\operatorname{grad} f(x, y)|=\sqrt{\left(\frac{\partial f}{\partial x}\right)^{2}+\left(\frac{\partial f}{\partial y}\right)^{2}}$$