信源的熵率公式，二元信源的熵函数

H=-plnp-（1-p）ln（1-p）。

信息熵的计算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

这当中，x表示随机变量，与之相对应的是全部可能输出的集合，定义为符号集,随机变量的输出用x表示。P(x)表示输出可能性函数。变量的无法确定性越大，熵也就越大，把它搞了解所需的信息量也就越大。 信息熵是数学方式和语言文字学的结合，基本计算公式是未H = - LOG2(P)。

这当中，H 表示信息熵，P 表示某种语言文字的字符产生的可能性，LOG2是以二为底的对数，用的是二进制，因而，信息熵的单位是比特（BIT，即二进制的0和1）。信息熵值就是信息熵的数值。

H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)

平均信息量的计算公式是I=log2（1/p），这当中p是可能性，log2指以二为底的对数。但对信息量作深入而系统研究，还是从1948年C.E.香农的奠基性工作启动的。在信息论中，觉得信源输出的消息是随机的。

信息量与信息熵在概念上是有区别的。在收到符号以前是不可以肯定信源究竟发送什么符号，通信的目标就是为了让接收者在收到符号后，解除对信源存在的疑义（无法确定度），使无法确定度变为零。这说明接收者从发送者的信源中取得的信息量是一个相对的量（H（U）-0）。而信息熵是描述信源本身统计特性的物理量，它表示信源出现符号的平均无法确定度，不管有无接收者，它总是客观存在的量。

信源符号的信息量是它产生的可能性p(x)函数

熵的相对率 嫡的相对率是有关嫡的一个比值.指一个信源的嫡率与具有同样符号集的大嫡的比值。

即式中H是信源的嫡率，lgq是信源的大嫡}q为信，源的符号数。

信源X的熵为信源发送一个符号的平均信息量(希望)

H(X)=E[I(X)]=∑i=1np(xi)I(xi)=−∑i=1np(xi)logp(xi)H(X)=E[I(X)]=∑i=1np(xi)I(xi)=−∑i=1np(xi)log⁡p(xi)

XX为随机变量，假设一信源分别以可能性p(0)p(0)和p(1)p(1)发送00和11，既然如此那，该信源的熵为

H(X)=p(0)I(0)+p(1)I(1)

=−(p(0)logp(0)+p(1)logp(1))

信息熵值是物理学中的一个概念是指有序度。

信息论之父C.E.Shannon在1948年发表的论文“通信的数学理论（A Mathe matical Theory of Communication）”中，Shannon指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的产生可能性或者说无法确定性相关。

Shannon借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

信息熵是数学方式和语言文字学的结合，基本计算公式是：

H=-LOG2（P）这当中：H表示信息熵，P表示某种语言文字的字符产生的可能性，LOG2是以二为底的对数，用的是二进制，因而，信息熵的单位是比特（BIT，即二进制的0和1）。信息熵值就是信息熵的数值

信息熵，用于描述信源无法确定度的量。

信息是个很抽象的概念。大家经常说信息不少，或者信息较少，但却超级难说了解信息究竟有多少。例如一本五十万字的中文书究竟有多少信息量。

直到1948年，香农提出了“信息熵”的概念，才处理了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的无法确定度。

基本信息

信源熵:是信息论中用来衡量信源信息量有序化程度的一个概念。信源熵值与信源有序化程度成反比；有序度越高，信源熵值越低，反之亦成立。

定义

信源熵的定义:信源各个离散消息的自信息量的数学希望(即可能性加权的统计平均值)信源熵的单位是 Bit/sign

信源限失真编码定理表达（在极限情况下，随着独立同分布随机变量数据流的长度趋于无穷）不可能把数据压缩得码率（每个符号的比特的平均数）比信源的香农熵还小，没有满足的基本上可以肯定，信息将丢失。但是，有可能使码率任意接近香农熵，且损失的可能性极小。码符号的信源编码定理把码字的小可能希望长度当成输入字（当成随机变量）的熵和目标编码表的大小的一个函数，给出了此函数的上界和下界。