2.1.3信息熵的性质

1. 非负性

其中等号成立的充要条件是当且仅当对某i，p(xi)=1，其余的p(xk)=0（k≠i）。

证明 由H(X)的定义式（2-7）可知，随机变量X的概率分布满足0≤p(x)≤1，log2p(x) ≤0，所以H(X)≥0。

因为每一项非负，所以必须是每一项为零等号才成立。即-p(xi)log2 p(xi)=0，此时只有p(xi)=0或p(xi)=1时上式才成立，而

所以只能有一个p(xi)=1，而其他p(xk)=0（k≠i）。这个信源是一个确知信源，其熵等于零。

2.对称性

熵的对称性是指H(X)中的p(x1), p(x2), …, p(xi), …, p(xn)的顺序任意互换时，熵的值不变。即

由式（2-7）的右边可以看出，当概率的顺序互换时，只是求和顺序不同，并不影响求和结果。这一性质说明熵的总体特性，它只与信源的总体结构有关，而与个别消息的概率无关。

例如，两个信源

的信息熵相等，其中x1，x2，x3分别表示红、黄、蓝3个具体消息，而y1，y2，y3分别表示晴、雾、雨3个消息。因为两个信源的总体统计特性相同，信息熵只抽取了信源输出的统计特征，而没有考虑信息的具体含义和效用。

3. 最大离散熵定理

定理2-1信源X中包含n个不同离散消息时，信源熵有

当且仅当X中各个消息出现的概率相等时，等号成立。

证明 自然对数具有性质 lnx≤x-1，x>0，当且仅当 x=1时，该式取等号。这个性质可用图2-1表示。

令

并且

得

所以

H(x)≤log2n

等式成立的条件为

即。上式表明，等概率分布信源的熵为最大，只要信源中某一信源符号出现的概率较大，就会引起整个信源的熵下降。由于对数函数的单调上升性，集合中元素的数目n越多，其熵值就越大。

4. 可加性

可加性是信源熵的一个重要特性，可以推广到多个随机变量构成的概率空间之间的关系。

设有N个概率空间X1, X2, …, XN，其联合熵可表示为

如果N个随机变量相互独立，则有

5. 香农辅助定理和极值性

定理2-2对于任意两个消息数相同的信源X和Y，i=1, 2, …, n，有

其中，

其含义是任一概率分布对其他概率分布的自信息量取数学期望，必大于等于本身的熵。

由上式可证明条件熵小于等于无条件熵，即

证明

其中

当X与Y互相独立时，即p(xi/yj)=p(xi)，上面两式等号成立。

同理

6. 确定性

只要信源符号中，有一个符号的出现概率为1，信源熵就等于零。从总体来看，信源虽然有不同的输出符号，但它只有一个符号是必然出现的，而其他符号则是不可能出现的，这个信源是确知信源。