D2L-9-梯度下降的方向

Last updated Feb 2, 2022 Edit Source

• All
• Gradient descent
• Deep learning
• Machine learning

Tags: #GradientDescent #DeepLearning #MachineLearning

• 梯度是一个函数增长最快的方向, 通常我们都是想获得损失函数的最小值, 所以需要沿着梯度的反方向来移动.

• 注意这并不是一定的, 梯度下降/上升只是一种优化方法而已, 如果我们想要优化的目标函数取得最大值, 那么就应该沿着梯度的方向变化.