Cyan's Blog

Search

Search IconIcon to open search

Cross_Entropy-交叉熵

Last updated Feb 11, 2022 Edit Source

# Cross Entropy - 交叉熵

2022-02-11

Tags: #InformationTheory #DeepLearning

# Intuition

# Formal Definition

# 性质

# 交叉熵: 作为损失函数

交叉熵是怎样衡量输出和真实值的差别的呢?

D2L-14-Cross Entropy as Loss

交叉熵作为损失函数 在作为损失函数的时候, 构成交叉熵的概率分布为: 真实分布: PP^* 模型输出: PP 作为损失函数, 交叉熵的作用是 衡量模型输出与真实值的差距, 作为优化算法的优化对象, 还需要尽量简洁, 减少训练模型的开销. 为什么交叉熵可以衡量输出与真实值的差别? 我们由KL_Divergence一节知道, KL散度可以作为衡量两个分布差距的指标: KL散度越接近0, 两个分布的相似度越高. 我们可以证明: 最小化 DKL(PP)D_{KL}(P^||P) 的过程, 就是最小化 H(PP)H(P^|P) 的过程: 证明视频阐述得非常好...

11/19/2023

# Cross Entropy in Neural Networks


  1. 交叉熵 - 维基百科,自由的百科全书 Cross entropy - Wikipedia 详解机器学习中的熵、条件熵、相对熵和交叉熵 - 知乎 ↩︎

  2. 其中X\mathcal{X} 指的是测度论里面的"支撑集". Reference: Support (measure theory) - Wikipedia ↩︎