注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

杨鸿智-后现代理论医学博客

《后现代医学》、《正反馈医学》、《自体原位器官重构技术》

 
 
 

日志

 
 
关于我

这是一个宣传后现代理论医学的博客.后现代理论医学是以系统理论为指导的新医学.该理论认为,在生命组织中干细胞是决定机体功能状态最基本的因素.通过调节机体内环境和为干细胞提供再生所需要的物质和能量,就可以使干细胞在患者体内原位再生,实现器官重构,使器质性病变得到治疗.现在,已经在北京医药信息学会内成立了后现代理论医学专业委员会,杨鸿智是主任委员.

网易考拉推荐

(3)信息=负熵  

2013-06-18 20:49:35|  分类: 干细胞病 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

3)信息=负熵

http://www.douban.com/note/222242691/

 

这是从陈卫星的Ideas of communication里读到的概念。

 

熵本来是物理学范畴的概念,要解释这个等式,必须要恶补下物理学常识,这也是我最恶心的部分。

 

万幸的是高中物理的不堪回首还隐隐残留在备受折磨的记忆里,所以当提到熵需要热力学第二定律来解释说明时,暗暗松了口气。

 

一百多年前德国佬克劳修斯提出“热量总是从高温向低温处散发”和“热转化为功时总有一部分白白损耗,而且这种损耗是不可逆的”这么个简洁易懂童叟无欺的现象,进而证明宇宙处于不断的热耗散,所以它的无序程度总是不断地无情地趋向极大值。

 

用人话来说,就是世间万物都在做功,但不一定全是有用功,一部分总要损耗掉,无限做功的结果是,都变成热。那时候也就是全人类翘辫子的时候了。

 

废话不多说,重点是,这个牛逼哄哄的德国佬在继热力学守恒定律后,又提出了热力学第二定律:热量总是由较高温的物体流向较低温的物体,但是不能从低温物体自发地流向高温物体。

 

咚锵锵~于是熵就华丽丽地出现了!

 

再次用人话来说,所谓熵,就是用来算计这些损耗的能量的。熵值越高,不可逆的能量就越高,整个universe就越混乱越无序。可不是嘛,只出不进,整的跟欧盟危机财政赤字似的,不彻底崩溃也是轻度精神分裂。

 

Anyway,信息就是救世主啊。

 

小盆友都知道不写作业的后果是罚站蹲墙角种蘑菇,因为老师总是不厌其烦地这么说这么做的。这就是老师给咱幼小心灵传递的信息——不写作业的后果很严重,惩罚是必滴。

 

所以,信息就是消除不确定性的东西,也就是说,是消除系统无序性和不肯定性的绝世良药。

之前提到熵越大系统就越混乱无序,咣咣咣~信息来了,抵消了这种混乱无序,故称之为“负熵”。看起来学术得一逼的名字,也不过是用了几个搜狗不咋待见的字。

 

总结控制论的鼻祖——香农的理论:给一个复杂的系统强加一种秩序,这就是负熵。他还贴心地补充了一句让东方人看的蛋疼的话:负熵组成一个信息系统复杂性的尺度。不知道陈卫星怎么想的,反正我是看的咬牙切齿几近神经紊乱。

 

 

信息负熵在图书馆系统管理中的作用

作者:赵孝芬

http://www.lwlm.com/Public/201109/564199.htm

 

 [摘要]熵是指体系的混乱程度,信息是一种负熵,信息越高,熵值越低。图书馆是信息交换的场所,也是一种具有耗散结构的开放性系统,负熵流的持续输入是保障图书馆系统优化的重要因素。本文论述了信息负熵在图书馆系统管理中的重要作用,以及有效输入信息负熵的途径。

 

1信息是一种负熵

 

熵(entropy)指的是体系的混乱程度,它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用,在不同的学科中引申出的更为具体的定义,是各领域十分重要的参量。熵由鲁道夫?克劳修斯(Rudolf Clausius)提出,并应用在热力学中。后来,克劳德?艾尔伍德?香农(Claude Elwood Shannon)第一次将熵的概念引入到信息论中来[1]。我们知道,在科学中有三个基本定律,即质量守恒定律,能量守恒定律和电荷守恒定律。质量、能量守恒定律在微观领域又被推广为质、能相关定律。质量守恒定律,能量守恒定律和质能相关定律在数学上表示为等式。而熵增定律则是不等式,即在孤立系中,熵增总是大于或等于零 ( S 0) 。在这种等式与不等式的差别中,隐含着深刻的意义。从系统三象性的基点来看,任何系统状态 ( ) 上物质性、能量性、信息性不可分离地共存着,但物质 ( 质量 ) 和能量是守恒的,而信息却 ( 信息是负熵 ) 不守恒。 因此说信息是一种负熵,信息越高,熵值越低。正是由于信息的作用,才使系统的熵减小。信息时代的特征是信息获取、加工、组织、传播和应用能力的竞争,信息越来越在社会生活中起着决定性的作用。

 

2 图书馆系统是一个具有耗散结构的开放性系统

 

系统(system):是由一些相互联系、相互制约的若干组成部分结合而成的、具有特定功能的一个有机整体(集合)。系统具有有机性(即:系统是有层次的)、整体性(即:在一个系统内部不追求个体完美,而追求整体目标最优),结构性(即:对要素和系统本身来说,不要求要素最优,而是要求要素的组合最优)。系统具有三种状态:(1)平衡态——即系统内部无差别(这种系统是一个死系统,没有活力,我们不提倡,应尽力避免);(2)近平衡态——即系统内部有差别,并且差别越来越小,接近平衡态;(3)远离平衡态——即系统内部有差别,但是差别越来越大(这种系统最有活力,我们要提倡的就是实现一个系统的远离平衡态)。而如何实现这个系统的远离平衡态,并如何使这个系统稳定,从而达到一个新的平衡态,正是我们在工作中要解决的问题。

 

在一个封闭系统中,熵值总是增加或不变,系统内的微观粒子由有序向无序运动,直至达到这种无规则运动最混乱、最无序时,系统内的温度、密度达到均匀一致,从而趋向与平衡态。由此可见,封闭系统由非平衡态向平衡态转换的过程,正是系统熵增加的过程,也是系统内微观粒子的无规则运动由不太乱变得更加乱的过程。而“熵”这一概念的物理意义在微观上正是表明粒子无规则运动的混乱或(无序)程度的度量。熵增加也就意味着微观粒子从有序到无序发展。这就是封闭系统的“熵增原理”[2]

 

70年代普里高津(I. Prigogine)提出了耗散结构理论[3,4]。普里高津认为熵增原理只适用于密闭系统,而开放系统,不可避免地存在系统内部与外界环境物质和能量的交换,从而引起一个熵流desdes>0des<0,或des0),假定系统内部由于不可逆产生的熵为dis(只能dis0),那么,系统总熵变为dsdesdis,由上式可见,如果从外界引入足够的负熵流(即:des < 0且︱des>dis,则系统的总熵值,系统的总熵值就减小、甚至为负值即ds desdis<0。因此可以通过引入负熵流使系统从无序态变为新的有序态,即耗散结构[5-7]。开放系统不会单方向的朝着熵增加(即越变越无序),相反,开放系统在远离平衡态时会由无序转为有序。平衡态是指孤立系统不随时间变化,与外界没有联系的一种死的混乱无序的状态。系统平衡态或近平衡态只能使系统自身熵值增加,不会形成有序结构,只有把系统推向远离平衡的非线性区,使系统处于一个十分不稳定的状态,才能使熵值减少,才有可能形成新的稳定有序结构:即非平衡是有序之源。

 

图书馆是是一个系统,而且是一种具有耗散结构的开放性系统。其开放性主要体现在两方面:其一是“图书馆的服务对象”:图书馆作为提供知识和信息的场所,拥有很大数量的读者群,尤其是公共图书馆则读者成分更为复杂,图书馆联盟的建立以及图书馆之间的馆际合作等更加扩大了读者的范围,使之联系更加广泛和密切;其二是“图书馆的信息资源”:图书馆信息的来源、加工、流通等方面与外界联系非常紧密,特别是随着图书馆向网络化、数字化方向发展,纸质文献和电子文献的购入,买入数据库和自建数据库的不断增加,人员的外出培训、进修等使得开放性更加突出和明显。可见,图书馆是一个具有很强开放性的系统。其次,图书馆是一个远离平衡态的系统,从图书馆内部任何一个角度看,都处于一种不平衡状态中;另外,图书馆内部各因素之间的关系是非线性的[8]。因此,图书馆系统就是一个远离平衡态的耗散系统,是系统和外界环境相互作用达到某一临界值时出现的有序结构。图书馆系统在结构和功能方面的有序性和稳定性,以及系统内部的活力和持续、快速发展正是靠连续不断的来自外界的负熵流来实现的。

 

3 信息负熵的输入使图书馆系统远离平衡态

 

信息是一种负熵,信息越高,熵值越低。正是由于信息这一负熵流的输入,才使得图书馆这个开放性系统熵值减小,系统内的各元素活力增加,从无序态变为新的有序态,即形成新的稳定有序结构,最终实现图书馆系统有一个质的飞跃。由于不断地有负熵流输入,图书馆这一开放性系统内部各元素差别增大,无规则运动加强,使图书馆系统又达到远离平衡态,最终又达到一个新的有序状态。如此反复,图书馆系统呈现一种螺旋式上升的发展状态。

 

又是图书馆与外界环境(主要是读者)进行交流的主要内容,也即纸质文献及数字资源的传递与共享。图书馆作为以学校所设专业为馆藏设置原则,纸质资源与数字资源共存、实际拥有资源和远程可利用资源并举的综合性文献资源服务体系,它的工作内容就是围绕信息的管理、加工展开。可见,信息的有效输入和合理管理,是图书馆正常运作的基础,信息就是图书馆生态系统有序发展的主要负熵。正是由于不断更新和日益完善的信息的输入,才使得图书馆在同行业竞争中立于不败之地,因此可以说信息是图书馆生态系统从外界获得负熵的主要来源。

 

4 实现信息负熵有效输入的途径

 

1)在信息本身的提供方面,首先要借助网络技术向读者提供尽可能多的信息平台,读者不仅可以在这里阅读、借阅,还可以进行网络交流。利用网络,读者可以获得每本书和即将出版的新书的书目信息,没有正式出版的报告、技术论文和学位论文的信息,为图书馆情报信息来源开辟了一个广阔的空间。其次图书馆应该运用各种技术手段,对馆藏资源进行深层次加工,拓宽服务渠道,为读者提供价值增值型的服务,可以增加科技查新的服务、专利文献服务以及为高层次人才重大课题的跟踪服务等等,从而最大限度地满足读者对信息的需求,使图书馆的发展更加有序化。

 

2)在图书馆与图书馆之间的联盟方面,建立馆际互借、资源共享,实现信息集群。多加图书馆的资源按照一定的信息联系集中在一起,构成一个类似生物有机体的信息群落,实现资源共享,形成强劲持续的信息竞争优势。集群内的图书馆既有竞争又有合作,既有分工又有协作,彼此间形成一种互动性的关联,由这种互动形成的竞争压力和潜在压力有利于构成集群内图书馆持续的创新动力,促进情报信息升级的加快,提

中国论文联盟www.LWlM.com高流通效率,大大提高信息的有效输入。

 

 

熵,信息和信息熵

2007-07-26 10:16

http://gjunwei.blog.sohu.com/56894808.html

 

 

熵与能量一样,是一个真实的物理量,它使不同形式的转变可以相互比较。

 

1 熵的热力学意义

 

热量q从高温热源传递到低温热源,高温热源的熵变为(这里设不变,类似设不变),低温热源的熵变为,其中负号表示放出热量,则系统的熵变为

 

系统的熵增加了,其意义是什么呢?我们从做功的角度来考虑,设另有一低温热源,满足 。分别从高温热源 取出热量q(如右图所示),利用效率最大的卡诺循环将其尽可能多地转变为功,则有

 

两次做功的差别为

 

可见,对于同样热量q,转变为功的可能性是不一样的,有 的热量不能转变为功,这部分热量正比于,所以,我们说熵的增加表示系统热量转变为功的可能性减少,即系统能量的品质变坏了。

 

2. 熵的统计物理意义

 

熵作为一个热力学量,它的微观意义是什么呢?玻尔兹曼从分子运动论的角度考察了熵。在系统总能量、总分子数一定的情况下,证明了表征系统宏观状态的熵与该宏观状态对应的微观态数w有如下关系

 

这就是著名的玻尔兹曼公式,它把熵与系统微观状态数联系起来,系统的熵越大,其微观状态数越多,分子运动越混乱。它揭示了熵的统计意义:熵是系统微观状态数或热力学概率的量度。

 

普朗克从熵的基本性质出发,也分析得到了玻尔兹曼公式。假定熵s与热力学概率w之间的关系用一般函数关系表示为

 

由于s广延量,系统总熵等于系统两部分的熵之和,即有

 

根据几率的运算法则,系统两部分中特定状态同时出现的几率是这两部分特定状态各具有的几率的乘积,即有

 

要使上述两种运算关系都能满足,(w)应该是对数函数,即

 

信息

 

我们今天生活的时代,是一个信息的时代。无论是工作中,还是日常生活中,我们都要利用各种不同的渠道收集各个方面的信息,外交家注意国际关系的微妙变化,企业家注意商情的涨落,科学家关注学科前沿的动态,所有的一切,都与信息息息相关。

 

信息现在已经成为现代科学技术中普遍使用的一个概念,作为日常用语,信息指音信、消息,是科学技术用语,可以简单地理解为消息是预先不知道的报道。一般来说,信息是指由信息源(如自然界、人类社会等)发出的各种信号,使使用者接受和理解。

 

信息并非事物本身,而是表征事物,并由事物发出的消息、情报、指令、数据和信号中包含的内容。一切事物,包括自然界、人类社会等,都在发出信息。在人类社会中,信息往往以文字、图像、语言、声音等形式出现。

 

信息是生活、工作中的常见现象,一切事物都会发出信息,信息无时不在。人们要想有效地工作和生活,必须拥有足够的信息。

 

借助于信息,人类才能获取并发展知识。通过获取信息,人们才能区别自然界和社会中的不同的事物,才得以认识世界、认识自然、利用自然。

 

熵与信息

 

任何一门学科逐步成熟的一个重要标志,就是它的一些重要概念从定性走向定量化。在信息如此重要的今天,如果我们对信息的多少没有一个定量的测量方法,也就没有今天的信息科学的发展。

 

信息论的创始人申农引入了一个重要概念:不确定程度。中文电报中的每个字都由4位数字码代表,在没有收到一个数字码以前,人们对它到底是什么并不知道,如果设法计量这个不确知的程度有多大,就为计量信息找出了线索。

 

信息论指出,如果一个事件(例如收到一个信号)有n个等可能性的结局,那么结局未出现前的不确定程度hn的自然对数成正比,即有

 

c为常数) 

 (1

一个电报码从0910个等可能结局,不确定程度就是ln10。当人们收到一个电报码后,就消除了这种“不确定”。这样,人们就从消除了多少不确定程度的角度来定义一个消息中含有的信息量。

 

4个数码组成一个中文字,因此一个汉字带来的信息量是4ln10或者ln104

 

申农把不确定程度h称为信息熵,就这样,“信息”这个词进入了科学的领地,它在定量化的进程中又与物理学中的“熵”概念联系起来。

 

这种对信息的理解完全排除了获得信息的载体是什么的影响,也排除了信息本身对信人是否重要之类的干扰,从而使信息这个词在极为广泛的领域中都能应用。

 

假定一个信息量是n个相互独立的选择的结果,其中每个选择都是在01中作出,则这个信息量的可能的选择数值为

 

于是

 

,则可得到常数

 

这样计算出来的信息量单位称为比特(bit),在通信中广泛使用。

 

一条通讯线路如果1s中能传送75bit的信息,我们就说这条线路传输能力为75波特(baud),波特就是1bit/s。而在计算机述评中常用字节(byte)作为信息量的单位,1个字节是8个比特(1byte=8bit),它容得下一个8位二进制数,或说它可记住256(28)可能状态中究竟是哪一个。平常我们说微机的内存为64k(k为千――kilo),是说它供用户任意存放数据的空间ram byte(字节)

 

上面所讨论的计量不确定程度(或信息)的方法仅适用于对某事件的结局为几个等可能结局时的情况。当几个结局出现的机会并不相同时,我们可以这样来计量。设有a12,…,ann个可能的结局,每个结局出现的几率分别为12...,,则其不确定程度h由下式给出

 

2

当时,即等可能结局情况下,由于各结局出现机会相等,有 ,(2)式则还原为

 

这就是等可能结局情况下的计量公式(1),因此(1)式仅是(2)式的一个特例,(2)式是信息熵的一般定义,信息熵也称为申农熵。

 

注意:在(2)中,由于0<<1,有ln0,因此信息熵 h 0。(2)式前的负号正是为了保证熵不可能为负值。

 

若考虑离散型随机变量x,它可以离散地取值x1x2x3,…,对应的几率分别为p1p2p3,…,则离散型随机变量x的信息熵

 

(3)

对应于多维情况,例如对二维离散型随机变量,若p(,)是x为,为时出现的几率,则复合信息熵为

 

4

可以这样说,只要知道概率分布,就可以求出这个分布(一组概率值)对应的信息熵值(一个数值),它表示在一次抽样时变量出现什么值(即结局)的不确定程度。

 

对连续型随机变量,容易得到类似的计量公式。

 

对于一维连续型随机变量x,若它是概率密度分布函数为f(),则x在区间(ab)的信息熵为

 

5

信息熵的概念建立,为测试信息的多少找到了一个统一的科学的定量计量方法,奠定了信息论的基础。这里引入的信息熵的概念,既不与热力学过程相联系,也与分子运动无关,但信息熵与热力学熵之间有着密切的关系。

 

可以证明,信息熵与热力学熵二者之间成正比关系。从某种意义上讲,我们完全可以这样看,熵概念在热力学中即为热力学熵,应用到信息论中则是信息熵。

 

最大信息熵原理

 

热力学统计物理中有熵增加原理,在信息论中也有对应的关于信息熵的著名定理――最大信息熵原理。

 

在很多情况下,对一些随机事件,我们并不了解其概率分布,所掌握的只是与随机事件有关的一个或几个随机变量的平均值。例如,我们只知道一个班的学生考试成绩有三个分数档:80分、90分、100分,且已知平均成绩为90分。显然在这种情况下,三种分数档的概率分布并不是唯一的。因为在下列已知条件限制下

 

(平均成绩)

(概率归一化条件)

有无限多组解,该选哪一组解呢?即如何从这些相容的分布中挑选出“最佳的”、“最合理”的分布来呢?这个挑选标准就是最大信息熵原理。

 

按最大信息熵原理,我们从全部相容的分布中挑选这样的分布,它是在某些约束条件下(通常是给定的某些随机变量的平均值)使信息熵达到极大值的分布。这一原理是由杨乃斯提出的。这是因为信息熵取得极大值时对应的一组概率分布出现的概率占绝对优势。从理论上可以证明这一点。

 

在我们把熵看作是计量不确定程度的最合适的标尺时,我们就基本已经认可在给定约束下选择不确定程度最大的那种分布作为随机变量的分布。因为这种随机分布是最为随机的,是主观成分最少,把不确定的东西作最大估计的分布。

 

任何物质系统除了都受到或多或少的外部约束外,其内部总是具有一定的自由度,这种自由度导致系统内的各元素处于不同的状态。而状态的多样性,状态的丰富程度(混乱程度、复杂程度)的定量计量标尺就是熵,熵最大就是事物状态的丰富程度自动达到最大值。换句话说,事物总是在约束下争取(或呈现)最大的自由权,我们把这看作是自然界的根本原则。

 

在给定的约束条件下,由最大信息熵原理求“最佳”概率分布,就是求解条件极值问题。在某些场合,常用拉格朗日乘子法来确定此分布。

一般地,拉格朗日乘子法的法则可叙述如下:欲求n元函数fx1x2,…,xn)在m个约束条件

 

  (6

下的条件极值,可用常数1,依次乘f,把结果加起来,得函数

 

然后列出 无约束条件时具有极值的必要条件

 

   (7

n个方程(7)与m个方程(6)联立解出n+m个未知数x1x2,…,x 。而其中12,…,就是可能为极值点的坐标,称为驻点。

从信息论中发展起来的最大信息熵原理,使人们开始把统计物理看成是信息论的特例。这使我们看到熵概念的强大生命力,也看到了熵概念和熵原理的重大意义。

 

 

  评论这张
 
阅读(58)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017