香农公式推导过程 银行利率表 2026-05-30 香农公式是由信息论的创始人克劳德·香农（Claude Shannon）在1948年提出的，用于计算离散信源的信息熵。下面是香农公式的推导过程： 假设我们有一个离散的随机变量X，它可以取到的所有值是{x1, x2, ..., xn}，对应的概率分布为{p1, p2, ..., pn}。其中，每一个xi表示信源可能输出的一个符号，pi表示对应的概率。 首先，我们定义信息量I(xi)来表示信源输出xi的信息数量，它的定义为： I(xi) = -log2(pi)... 阅读更多