信源熵计算方法，求熵的公式

熵是用来衡量事物内部无序的总量。计算公式为ξp(xi)log2 p(xi)(i=1,2,..n) 这当中这里的ξ是数学中的求和符号，p(xi)表示xi在整个分布中产生的可能性，2实际上log的下标，

离散无记忆信源，等可能性分布时熵大。 连续信源，峰值功率受限时，均匀分布的熵大。平均功率受限时，高斯分布的熵大。均值受限时，指数分布的熵大。

s=Q/T。

熵S是状态函数,具有加和(容量)性质,是广度量非守恒量,因为其定义式中的热量与物质的量成正比,但确定的状态有确定量。其变化量ΔS只决计划于体系的自始至终态而与过程可逆与否无关。

ξp(xi)log2 p(xi)(i=1,2,..n) 这当中这里的ξ是数学中的求和符号，p(xi)表示xi在整个分布中产生的可能性，2实际上log的下标

熵理论有两个版本：热力学熵与玻耳兹曼熵；不管微观的玻耳兹曼熵还是宏观的克劳修斯熵，它们都正比于宏观状态可能性的对数，自然界过程的自发倾向是从可能性小的宏观状态向可能性大的宏观状态过渡。

熵高，宏观态的可能性大，算是“混乱”和“分散”；熵低，宏观态的可能性小，算是“整齐”和“集中”。前者叫做无序，后者叫做有序。

固体熔化为液体是熵增多的过程，固体的结晶态要比液态整齐有序；液体蒸发为气体是熵增多得更多的过程，气态比液态混乱和分散得多。自由膨胀从集中到分散，功变热从有序到无序，都是熵增多的过程。

能量退降：卡诺定理和热力学第二定律告诉我们，存在着温度差才可能得到有用功。

信息熵也是有值的，可以计算的，信息熵用 bit（比特）为单位，计算公式请看下方具体内容，这当中 P 是可能性质量函数。

初始状态下，针对张三来说，小红喜欢这三个礼物的可能性都是 1/3，故此，这个时候 P(x) = 1/3，信息熵可以用请看下方具体内容公式计算：

H(x)=1/3*log(3)+1/3*log(3)+1/3*log(3)

=1.56

这其实就是常说的说现在的信息熵。

1：码长是不是是平均码长？假设是， 码长=（全部种类字符累加（字符产生的次数*该字符哈夫曼编码是的长度））/全部字符的个数 例子： 字符串aabbb a编码为10011 --5位 b编码为010011 --6位 码长=（2*5+3*6）/5 (分母5代表aabbb的长度为5) 2：信息熵： 信息熵Eta=累加（Pi*log2（1/Pi））（i从1累加到n，Pi表示对应第i个字符在字符串中产生的可能性，如字符“a”在长度为1000的字符串中产生6次，为第一个字符，则P1=6/1000）

熵是用来衡量事物内部无序的总量。计算公式为ξp(xi)log2 p(xi)(i=1,2,..n) 这当中这里的ξ是数学中的求和符号，p(xi)表示xi在整个分布中产生的可能性，2实际上log的下标

证明:当函数可能性为均匀分布时,获取大的熵值。证明:设随机变量 X 可能取值为 x1,x2,...xn,取对应的值对应的可能性 为 p1,p2,...pn。

联合熵是一集变量当中无法确定性的衡量手段。

热力体系中，不可以利用来做功的热能可以用热能的变化量除以温度所得的商来表示，这个商叫做熵。熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。

熵的大小与体系的微观状态Ω相关，即S=klnΩ，这当中k为玻尔兹曼常量，k=1.3807x10-23J·K-1。 体系微观状态Ω是非常多质点的体系经统计规律而得到的热力学可能性，因为这个原因熵有统计意义，对唯有哪些、几十或几百分子的体系就无这里说的熵。