香农熵

xiāng nóng shāng · ㄒㄧㄤ ㄋㄨㄥˊ ㄕㄤ

修撰于 2026-06-30 04:11:36

拼音xiāng nóng shāng
字母xiang nong shang
首字母xns
注音ㄒㄧㄤ ㄋㄨㄥˊ ㄕㄤ
注音符号ㄒㄧㄤ ㄋㄨㄥ ㄕㄤ

广

1948 年,香农提出了“信息熵”(shāng) 的概念,解决了对信息的量化度量问题。一条信息的信息量大小和它的不确定性有直接的关系。比如说,我们要搞清楚一件非常非常不确定的事,或是我们一无所知的事情,就需要了解大量的信息。相反,如果我们对某件事已经有了较多的了解,我们不需要太多的信息就能把它搞清楚。所以,从这个角度,我们可以认为,信息量的度量就等于不确定性的多少。