信息论中输出概率怎么算，信息量的公式

信息熵的计算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。这当中，x表示随机变量，与之相对应的是全部可能输出的集合，定义为符号集,随机变量的输出用x表示。P(x)表示输出可能性函数。变量的无法确定性越大，熵也就越大，把它搞了解所需的信息量也就越大。信息熵是数学方式和语言文字学的结合，基本计算公式是未H = - LOG2(P)。这当中，H 表示信息熵，P 表示某种语言文字的字符产生的可能性，LOG2是以二为底的对数，用的是二进制，因而，信息熵的单位是比特（BIT，即二进制的0和1）。信息熵值就是信息熵的数值。

信息熵值是物理学中的一个概念是指有序度。

信息论之父C.E.Shannon在1948年发表的论文“通信的数学理论（A Mathe matical Theory of Communication）”中，Shannon指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的产生可能性或者说无法确定性相关。

Shannon借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

信息熵是数学方式和语言文字学的结合，基本计算公式是：

H=-LOG2（P）这当中：H表示信息熵，P表示某种语言文字的字符产生的可能性，LOG2是以二为底的对数，用的是二进制，因而，信息熵的单位是比特（BIT，即二进制的0和1）。信息熵值就是信息熵的数值。

计算公式

1、克劳修斯第一次从宏观的视角提出熵概念，其计算公式为:S=Q/T,(计算熵差时，式中应为△Q)

2、波尔兹曼又从微观的视角提出熵概念，公式为:S=klnΩ，Ω是微观状态数，一般又把S当作描述混乱成度的量。

3、笔者针对Ω不易理解、使用不便的现状，研究觉得Ω与理想气体体系的宏观参量成正比，即:Ω(T)=(T/εT)3/2,Ω(V)=V/εV，得到理想气体的体积熵为SV=klnΩv=klnV,温度熵为ST=klnΩT=(3/2)klnT ，计算任意过程的熵差公式为△S=(3/2)kln(T'/T)+kln(V'/V),这微观与宏观关系式及分熵公式，具有易于理解、使用方便的特点，促进教和学，可称为第三代熵公式。

上面说的三代熵公式，使用的物理量从形式上看具有"直观→抽象→直观"的特点，我们觉得这不是概念游戏是对熵概念认识的一次飞跃。

拓展资料

熵定律是科学定律之，这是爱因斯坦的观点。我们清楚能源与材料、信息一样是物质世界的三个基本要素之一，而在物理定律中，能量守恒定律是重要，要优先集中精力的定律，它表达了各自不同的形式的能量在相互转换时，总是不生不灭保持平衡的。熵的概念早起源自于物理学，用于度量一个热力学系统的无序程度。热力学第二定律，又称"熵增定律"，表达了在自然途中，一个孤立系统的总混乱度(即"熵")不会减小。

具体内容

高定律

在等势面上，熵增原理反映了非热能与热能当中的转换具有方向性，即非热能转变为热能效率可以百分之100,而热能转变成非热能时效率则小于百分之100(转换效率与温差成正比),这样的规律制约着自然界能源的演变方向，对人类生产、生活影响巨大；在重力场中，热流方向由体系的势焓(势能+焓)差决定，即热量自动地从高势焓区传导至低势焓区，当产生高势焓区低温和低势焓区高温时，热量自动地从低温区传导至高温区，且不需付出其它代价，即绝对熵减过程。

明显熵所描述的能量转化规律比能量守恒定律更加重要，通俗地讲:熵定律是"老板"，决定着企业的发展方向，而能量守恒定律是"出纳",负责收支平衡，故此，说熵定律是自然界的高定律。

分熵的特点

熵概念源自于卡诺热机循环效率的研究是以热温商的形式而问世的，当计算某体系出现状态变化所导致的熵变总离不开两点，一是可逆过程；二是热量的得失，故总熵概念摆脱不了热温商这个原始外衣。当用状态数来认识熵的实质时，我们通过研究发现，理想气体体系的总微观状态数受宏观的体积、温度参数的控制，进一步得到体系的总熵等于体积熵与温度熵之和(见相关文章)，用分熵概念考察体系的熵变化，没有必要设计什么可逆路径，概念直观、计算方便(已被部分专家认可),因而促进教和学。

熵流

熵流是普里戈津在研究热力学开放系统时第一次提出的概念(普里戈津是比利时科学家，因对热力学理论带来一定发展，取得1977年诺贝尔化学奖)，普氏的熵流概念是指系统与外界交换的物质流及能量流。

我们觉得这个定义不太精辟，这应该从熵的实质来认识它，不错物质流一定是熵的载体，而能量流则未必，能量可分热能和非热能[如电能、机械能、光能(不是热辐射)]，当某绝热系统与外界交换非热能(出现可逆变化)时，如通电导线(超导材料)经过绝热系统内，对体系内熵没有影响，准确地说能量流中唯有热能流(含热辐射)能引人熵流(对非绝热系统)。

针对实质上情形，非热能作用于系统出现的多是不可逆过程，会有热效应出现，这时系统产生熵增多，这只可以叫(有因素的)熵出现，而不可以叫熵流的流入，因能量流不等于熵流，故此，不论什么形式的非热能流都不可以叫熵流，更不可以笼统地把能量流称为熵流。

信息加工理论不是某一种理论的名称，而是一类理论的统称。信息理论把人看做一个信息处理器，而人的消费行为就是一个信息处理过程，即信息的输入、编码、加工储存、提取和使用的过程。消费者面对各自不同的非常多的商品信息，要对信息进行选择性注意、选择性加工、选择性保持、后作出购买并作出购买行为。这个过程可以用心理学原理解释为：商品信息导致了消费者的有意或无意注意，既然如此那，大脑就启动对所取得的信息进行加工处理，这个过程涵盖知觉、记忆、思维和态度，于是购买决定就出现了。

从信息加工的的视角来研究学习，起自不一样的来源。有人觉得(Ellis，1978)是受了格式塔记忆理论的影响，这样的理论强调，有机体如何组织他们记忆的主要内容，反映了他们是如何主动地组织知觉的方法。也有人(Norman，1970)区分了对当今信息加工理论有影响的三种理论：(1)由埃斯蒂斯和斯彭思等人早提出的学习的数学理论(mathematicallearningtheories)；(2)强调以选择性注意为起点、长时记忆痕迹为终点的信号探示理论(signaldetectiontheories)；(3)注重人工智能和计算机模拟的计算机模型理论(Computer-modeltheories)。

根据斯奈尔贝克(G．E．Snelbecker)的观点，现在，被觉得属于信息加工理论范围的，总体可以分成以下三类：

1.侧重于数理统计分析的信息论

美国学者香农(C．Shannon)被公觉得是信息论之父。作为贝尔电话号码公司的技术人员，香农为了处理信息编码的问题，提升通信系统的效率和可靠性，在研究途中对信息进行了数学处理。他舍弃通信系统中消息的详细内容，把信息源出现的信息仅仅当成一个抽象的量。他把数理统计方式运用到通信领域，提出了信息熵的数学公式，从量的方面来描述信息的传递与提取的问题，并提出了信息量的概念。他设计出了一套在各自不同的不一样条件下测量信息的方式，以此夯实了现代信息理论的基础(王雨田，1986年)。

简单单就来说一下来，香农的测度大部分都集中在输送与接收的消息当中的相似性，以便计算送话者与受话者双才能够够得到多少信息。香农把消息的交换作为通信的特点。因为这个原因，信息论特别要注意关注的是可能已被输送的消息的影响，还有实质上被传送的信号。

心理学家们改编了香农的信息测度和理论。呈现给被试的刺激是与通讯系统中的信息源和传送者(sourceandtransmitter)对应的。入口通道(channel)被作为人类被试的特点；被试对信号加以编码和做出正确反应的大精确度，被称为是他的入口通道能量(channelcapacity)。

信息分析把主要焦点放在被试在一系列尝试中对所呈现的刺激做出反应的完全一样性程度上。比如，我们可以向被试呈现音色不一样但其他各方面(如声响和可持续)完全一样的4种音调，要求被试做出四种不一样的反应，这样，我们不用具体计算，也可确定被试是不是加工了在这样的情境中全部可得到的信息。

当向成人被试呈现单维刺激(即除了一个刺激维度不一样外，其他方面都完全一样)时，出现一种有趣的情况。但凡是被试有了足够的练习，以此了解清楚对每一种刺激应做出哪种反应时，他们的精确性达到了十种渐进线，并在操作时一直保持精确性。而且即便刺激只是通过不一样的感觉入口通道被感知的，或刺激的排列方法带来一定不一样，但能被正确识别的刺激项目标数量变化是很小的。1956年，米勒(G．Miller)发表了一篇文章，试题是：《神奇的数字，7土2：我们信息加工能量的一部分限制(TheMagicalNumberSeven，PlusOrMinusTwo：SomeLimitsonOurCapacityforProcessinginformation)》，他回顾了近20项研究，发现人类处理信息的能量是有限的。米勒提出，我们要用金子而不是废品来填补这7个左右的记忆狭孔。米勒的文章发表后，心理学家们从事了数百项这种类型的研究。尽管有人对这样的人类入口通道能量的计算程序抱有异议，但不少心理学家接受了这一发现，以此对学习与记忆的研究出现一定的影响。还有部分人从另一个的视角觉得，我们可以把信息组织成“组块(chunks)”，以此可以增多人类的信息加工能力，因为这个原因应该把重点放在大家组织信息的方法上。

就大多数情况下来说，心理学家觉得，信息论有助于我们形成一种把人类作为信息加工者的模式。这个模式强调人在对刺激做出反应时的积极选择的作用，而不是像在刺激-反应理论中所看到的那种起被动作用的人。与此同时，也有人觉得(Simon，1979)，把研究焦点放在狭窄的实验室分析，对了解人类处理问题的过程没有很大的帮。

2.侧重于计算机模拟的信息加工理论

把人视同信息加工者，这一观念是与计算机技术的发展联系在一起的。计算机技术是在第二次世界大战这个时间段，主要是因为要处理非常多军事数据而发展起来的。心理学家们发现，计算机程序也可用来描述人类思维和学习的方法。一部分研究人员用计算机来模拟人类问题处理过程和学习过程。这样，心理学家就不可以再只是推算预测在“暗箱”内部所出现的事情了。

有关计算机与人类信息加工方面，有两个主要的发展：一个方面，尽管不少信息论专家对人类认识和了解过程不感兴趣，但他们对改进计算机加工信息的方法很特别要注意关注。故此他们可以用人类思维过程作为改进计算机处理数据的程序的指南。因为这个原因，人工智能(artificialintelligence)这个术语经常只是用来指计算机所遵守的信息加工步骤，而不管这些步骤是不是模拟了人类加工信息的实质上的方法，这与这个术语本身的含义是有矛盾的(Simon，1969)。人工智能中一个实质上的目标是要发现计算机贮存、提取、运演和使用信息的好方法，至于人类在处理问题时是不是遵守这些步骤，这不是他们所关心的。

但另外一部分学者对计算机加工的兴趣，集中在模拟人类问题处理过程上。计算机模拟(computersimulation)一般是指利用各算机和计算机语言来描述人类信息加工过程时所采取的方式。这方面典型的人物是西蒙。他觉得，人的认识活动与计算机是一一对应的

初用计算机成功地模拟人类思维是由纽厄尔与西蒙(NewellandSimon)设计的。这个程序称为“逻辑理论家(LogicTheorist)”的程序，能用来证明形式逻辑中的各自不同的定理。“逻辑理论家”采取了人类在问题处理活动中所使用的一部分处理方式，但它只可以处理一部分特定类型的问题。纽厄尔与西蒙在1972年又设计了一种更为精细的问题处理系统，称之为“大多数情况下问题处理者(GeneralProblemSolver)”。这个程序把据觉得是人类问题处理活动之基础的非常多策略组合在一起。这个程序不但能证明逻辑定理，而且，还能下棋、谱曲等。由此，他们提出了一个问题处理行为所涉及的基本结构，他们称之为“信息加工系统”或“IPS”。问题处理者的接受系统(或感受器，即神经末梢和把感觉传送至大脑的入口通道)是与信息加工器相联结的，信息加工器则需利用记忆。记忆也为信息加工器提供信息，而信息加工器则为效应器提供信息。效应器就是指开展问题处理途中的决策的动作过程。

3.侧重于实质上应用的认识和了解信息加工理论

研究方式的问题长期以来都是心理学研究中十分困难的问题。信息加工认识和了解心理学继承了实验心理学的传统，吸收了计算机科学的研究成果，形成丁一套比较完整的研究方式-实验、模拟、理论分析相结合的研究方式。这样的研究方式充分地反映了当代科学在实验基础上高度综合的研究特点，还有定性研究与定量研究相结合、宏观研究与微观研究相结合的特点。正是研究方式的突破，促进了信息加工认识和了解心理学的发展。这些研究方式有：

（一）实验法

从一百多年前冯特在莱比锡建立了第一个心理学实验室以来，实验方式已被大多数心理学家所接受。这是因为实验的方式能使研究者在控制的情境下，系统地操纵自变量，观察因变量的变化，探讨变量当中的关系。实验有助于研究者搜集资料，验证假说，提升价究的信度和效度。实验方式是信息加上认识和了解心理学采取的主要手段。

信息加工认识和了解心理学的实验主要是反应时实验和眼动实验。

（二）口述报告法

口述报告法，也称出声思考法是一种由被试大声地报告自己在进行某一个操作时的想法来探讨内部认识和了解过程的方式。口述报告多半在操作时进行，也可在操作后通过回忆来叙述。从某种意义上来讲，口述报告的方式有部分类似传统的内省法，也可觉得是对内省法的批判与继承。在进行口述报告实验时，主试一定要要求被试大声地认真报告操作时自己思考的具体内容，使内部的思维过程外部言语化，但不要他们解释情境或思维过程。被试所报告的应主要是短时记忆中保留的很快就可以消失的信息。内克森和西蒙等人采取这样的方式，在认识和了解研究上获取一定的成就。口述报告的方式已被不少信息加工认识和了解心理学家所接受。

(三)计算机模拟的方式

计算机模拟是信息加工认识和了解心理学有代表性的一种独特的研究方式。计算机模拟是心理学与计算机科学的交叉领域，也是人工智能的重要组成部分。这样的方式是想通过对心理过程的计算机模拟来认识人心理过程的本身，即对人的内部信息加工过程进行逻辑分析。

计算机模拟常和理论分析结合在一起，多从程序缩减、流程分析、程序模拟三个方面开始。程序缩减是一种以潜在性原因作为资料来源，用分离认识和了解原因来探讨认识和了解过程的方式。典型的设计是让被试执行两种复杂程度不一样的任务，从对比的的视角来探讨复杂任务的操作时间和信息加工过程。流程分析是通过计算机流程图的比较进一步探讨操作时心理表征的顺序和方向。程序模拟是把人的认识和了解过程编成各自不同的计算机语言输入计算机，假设输入的程序能正常工作，设计者至少可以得知某种心理过程在逻辑上是可行的，即取得逻辑合理性方面的验证。比如，克拉克等人用计算机模拟的方式探讨了人的句子理解过程，达柯等人则探讨了人怎样利用自己有限的短时记忆去处理和分析句子的前后关系，这些研究都获取一定的成就。

H=-plnp-（1-p）ln（1-p）。

熵的来源及有关定义

熵是信息论与编码理论的中心概念。至于条件熵还有互信息都是某种意义上的熵。针对熵的理解是根本的。基本上全部的信息论考试教材无一列外的提到熵是刻画信息的多少或者无法确定性的。这当然也没啥问题，但是，却马上让人如堕五里雾中，不了解熵究竟是什么意义。只要稍微钻一下牛角尖，刻画信息或者无法确定性为什么非要用这样的形式不可呢？在这些书上就很难找到好的答案了。其实这些定义可以直接从对数的定义得到很清晰的解释。而不用绕一个圈子从什么信息量、无法确定性的的视角。刻画信息量或者无法确定性可以作为某种解说，但不是根本清晰的解说。假定熵的定义公式中对数都是以2为底，既然如此那，一个字符序列的熵就是用二进制代码来表示这个字符序列的每个字的少的平均长度，其实就是常说的平均每个字少要用哪些二进制代码。这样的说法才是熵的实质意义所在。故此，熵这个概念天然地和编码联系在一起，而不是仅仅的为了刻画什么信息量或者无法确定度之类不着边际的概念。熵就是用来刻画编码的程度或者效率的。可见学信息论肯定要学编码。

熵值是用来测量系统的随机性或无序性的一种热力学函数。比如，固体的熵，粒子不可以自由移动，比气体的熵小，粒子会填满容器。科学家们得出结论，假设一个过程是自发的，这个过程的熵一定要增多。这涵盖系统的熵和周围环境的熵。

　　熵可以用不少不一样的方程来计算：

　　1，假设该过程是在恒定的温度，既然如此那， ， S 是熵的变化，qrev可逆途中出现的热量,T是开尔文温度

　　2.假设反应已知,既然如此那， Srxn 可以使用标准熵值表计算。

　　3. 吉布斯自由能 ( G)和焓 ( H) 也可用来计算 S.