释
信息散度
xìn xī sàn dù · ㄒㄧㄣˋ ㄒㄧ ㄙㄢˋ ㄉㄨˋ
修撰于 2026-07-01 06:10:18
音义
| 拼音 | xìn xī sàn dù |
|---|---|
| 字母 | xin xi san du |
| 首字母 | xxsd |
| 注音 | ㄒㄧㄣˋ ㄒㄧ ㄙㄢˋ ㄉㄨˋ |
| 注音符号 | ㄒㄧㄣ ㄒㄧ ㄙㄢ ㄉㄨ |
广训
相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。在在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值。相对熵是一些优化算法，例如最大期望算法（Expectation-Maximization algorithm, EM）的损失函数。此时参与计算的一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布...