注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

杨鸿智-后现代理论医学博客

《后现代医学》、《正反馈医学》、《自体原位器官重构技术》

 
 
 

日志

 
 
关于我

这是一个宣传后现代理论医学的博客.后现代理论医学是以系统理论为指导的新医学.该理论认为,在生命组织中干细胞是决定机体功能状态最基本的因素.通过调节机体内环境和为干细胞提供再生所需要的物质和能量,就可以使干细胞在患者体内原位再生,实现器官重构,使器质性病变得到治疗.现在,已经在北京医药信息学会内成立了后现代理论医学专业委员会,杨鸿智是主任委员.

网易考拉推荐

(1)信息熵(百科名片)  

2013-06-18 20:41:57|  分类: 干细胞病 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

1)信息熵(百科名片)

http://baike.baidu.com/view/401605.htm

 

信息论创始人:克劳德·艾尔伍德·香农

 

信息是个很抽象的概念。人们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年,香农提出了“信息熵”的概念,才解决了对信息的量化度量问题。信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

 

目录

 

理论提出

信息含义展开

理论提出

信息含义展开

编辑本段

理论提出

 

[1]信息论之父 C. E. Shannon 1948 年发表的论文“通信的数学理论( A Mathematical Theory of Communication )”中, Shannon 指出,任何信息都存在冗余,冗余大小与信息中每个符号(数字、字母或单词)的出现概率或者说不确定性有关。 Shannon 借鉴了热力学的概念,把信息中排除了冗余后的平均信息量称为“信息熵”,并给出了计算信息熵的数学表达式。

 

信息含义

 

现代定义

 

信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】

信息是确定性的增加。【逆香农信息定义】

信息是事物现象及其属性标识的集合。【2002年】

 

最初定义

 

信息理论的鼻祖之一Claude E. Shannon把信息(熵)定义为离散随机事件的出现概率。所谓信息熵,是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. BennettMaxwell's Demon的重新解释,对信息的销毁是一个不可逆过程,所以销毁信息是符合热力学第二定律的。而产生信息,则是为系统引入负(热力学)熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言,当一种信息出现概率更高的时候,表明它被传播得更广泛,或者说,被引用的程度更高。我们可以认为,从信息传播的角度来看,信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准,可以做出关于知识流通问题的更多推论。

 

计算公式

H(x)=E[I(xi)]=E[ log(2,1/p(xi)) ]=-p(xi)log(2,p(xi)) (i=1,2,..n)

《博弈圣经》

 

信息熵:信息的基本作用就是消除人们对事物的不确定性。多数粒子组合之后,在它似像非像的形态上押上有价值的数码,具体地说,这就是一个在博弈对局中现象信息的混乱。

 

香农指出,它的准确信息量应该是  

-(p1*log(2,p1) + p2 * log(2,p2) + ... +p32 *log(2,p32))

 

  信息熵

其中,p1p2 , ...,p32 分别是这 32 个球队夺冠的概率。香农把它称为“信息熵” (Entropy),一般用符号 H 表示,单位是比特。

 

有兴趣的读者可以推算一下当 32 个球队夺冠概率相同时,对应的信息熵等于五比特。有数学基础的读者还可以证明上面公式的值不可能大于五。对于任意一个随机变量 X(比如得冠军的球队),它的熵定义如下:

 

变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大。

 

信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。所以,信息熵也可以说是系统有序化程度的一个度量。

 

熵的概念源自热物理学.假定有两种气体ab,当两种气体完全混合时,可以达到热物理学中的稳定状态,此时熵最高。如果要实现反向过程,即将ab完全分离,在封闭的系统中是没有可能的。只有外部干预(信息),也即系统外部加入某种有序化的东西(能量),使得ab分离。这时,系统进入另一种稳定状态,此时,信息熵最低。热物理学证明,在一个封闭的系统中,熵总是增大,直至最大。若使系统的熵减少(使系统更加有序化),必须有外部能量的干预。

 

信息熵的计算是非常复杂的。而具有多重前置条件的信息,更是几乎不能计算的。所以在现实世界中信息的价值大多是不能被计算出来的。但因为信息熵和热力学熵的紧密相关性,所以信息熵是可以在衰减的过程中被测定出来的。因此信息的价值是通过信息的传递体现出来的。在没有引入附加价值(负熵)的情况下,传播得越广、流传时间越长的信息越有价值。

熵首先是物理学里的名词.在传播中是指信息的不确定性,一则高信息度的信息熵是很低的,低信息度的熵则高。具体说来,凡是导致随机事件集合的肯定性,组织性,法则性或有序性等增加或减少的活动过程,都可以用信息熵的改变量这个统一的标尺来度量。

 

 

  评论这张
 
阅读(61)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017