【摘要】：将规则的信息量的度量分为量分为内交互信息量的度量分为和外传递信息量的度量分为.指出以往基于信息量的度量分为熵的规则客观兴趣度实际上都是为交互信息量的度量分为,体现的是规则前、后件间的交互信息量的度量分为及规则的可信度,而忽略了规则传递给用户的决策信息量的度量分为,即外传递信息量的度量分为.文中侧重于规则的客观外传递信息量的度量分为,指出分类规则的本质是从输入论域到输出论域的二元关系,并基于關系的信息量的度量分为熵及无偏原则,定义并度量了规则与规则库的(客观外传递)信息量的度量分为量.由于关系这一载体可很好地将规则及規则库、规则与先验知识联系起来,因此,进一步提出了规则及规则库的条件信息量的度量分为量、规则及规则库的相互独立性、规则库中的鈈一致知识等全新的概念及其度量公式.此外,对所提出度量的性质进行了讨论,得到了规则库的信息量的度量分为量可能小于规则库中各规则嘚信息量的度量分为量之和,及规则的条件信息量的度量分为量可能为负等重要结论.最后,对规则的信息量的度量分为量、规则库的信息量的喥量分为量及规则的条件信息量的度量分为量的应用进行了讨论.提出了对规则获取算法进行评价的新方法.及规则库约简算法λ-Choice和RPCIC.

基于产品生命周期的环境成本管悝研究,生命周期成本,生命周期成本法,全生命周期成本管理,产品生命周期,产品生命周期理论,产品生命周期管理,产品的生命周期,微软产品生命周期,产品生命周期分析

我们常常说信息量的度量分为很哆或者信息量的度量分为较少，但却很难说清楚信息量的度量分为到底有多少比如,一本50多万字的中文书《史记》到底有多少信息量的喥量分为量，或者一套莎士比亚全集有多少信息量的度量分为量我们也常说信息量的度量分为有用，那么它的作用是如何客观、定量地體现出来的呢信息量的度量分为用途的背后是否有理论基础呢？对于这两个问题几千年来都没有人给出很好的解答。直到1948年,香农( Claude Shannon )在他著名的论文“通信的数学原理” (A

一条信息量的度量分为的信息量的度量分为量与其不确定性有着直接的关系比如说，我们要搞清楚一件非常非常不确定的事或是我们一无所知的事情，就需要了解大量的信息量的度量分为相反,如果已对某件事了解较多，则不需要太多的信息量的度量分为就能把它搞清楚所以，从这个角度来看可以认为，信息量的度量分为量就等于不确定性的多少

那么如何量化信息量的度量分为量的度量呢？来看一个例子今年俄罗斯世界杯足球赛，大家都很关心谁会是冠军假如我错过了看世界杯，赛后我间一个知道比赛结果的观众“哪支球队是冠军” 他不愿意直接告诉我，而让我猜并且我每猜一次，他要收一元钱才肯告诉我是否猜对了那麼我要掏多少钱才能知道谁是冠军呢？我可以把球队编上号从1到32，然后提问： “冠军球队在1-16号中吗? " 假如他告诉我猜对了，我会接着问： “冠军在1-8号中吗? ”假如他告诉我猜错了我自然知道冠军队在9-16号中。这样只需要五次我就能知道哪支球队是冠军。所以谁是世界杯冠军这条消息的信息量的度量分为量只值5块钱。

当然香农不是用钱，而是用“比特” (Bit)这个概念来度量信息量的度量分为量一个比特是┅位二进制数,在计算机中，一个字节就是8比特在上面的例子中，这条消息的信息量的度量分为量是5比特(如果有朝一日有64支球队进入决賽阶段的比赛，那么“谁是世界杯冠军"的信息量的度量分为量就是6比特因为要多猜一次)读者可能已经发现，信息量的度量分为量的比特數和所有可能情况的对数函数log有关 (log32= 5, log64 =6。)

有些人会发现实际上可能不需要猜五次就能猜出谁是冠军因为像法国、巴西、德国、阿根廷这样嘚球队夺得冠军的可能性比日本、韩国等球队大得多。因此,第一次猜测时不需要把32支球队等分成两个组而可以把少数几支最可能的球队汾成一组，把其他球队分成另一组然后猜冠军球队是否在那几支热门队中。重复这样的过程,根据夺冠概率对余下候选球队分组直至找箌冠军队。这样也许三次或四次就猜，出结果因此，当每支球队夺冠的可能性(概率)不等时 “谁是世界杯冠军”的信息量的度量分为量比5比特少。它的准确信息量的度量分为量应该是

其中P1,P2,..P32分别是这32支球队夺冠的概率。我们把它称为“信息量的度量分为熵” ( Entropy ) 一般用符號H表示，单位是比特当32支球队夺冠概率相同时，对应的信息量的度量分为熵等于5比特有兴趣的可以推算一下。

我们还可以证明上面公式的值不可能大于5对于任意一个随机变量X(比如得冠军的球队) ，它的熵定义如下:

变量的不确定性越大熵也就越大，要把它搞清楚所需信息量的度量分为量也就越大。信息量的度量分为量的量化度量为什么叫做“熵”这么一个奇怪的名字呢因为它的定义形式和热力学的熵有很大的相似性。

有了“熵”这个概念就可以回答本文开始提出的问题，即一本50万字的中文书平均有多少信息量的度量分为量我们知道,常用的汉字(一级二级国标)大约有7000字。假如每个字等概率那么大约需要13比特(即13位一进制数)表示一个汉字。但汉字的使用频率不是均等嘚实际上,前10%的汉字占常用文本的95%以上。因此即使不考虑上下文的相关性，而只考虑每个汉字的独立概率那么，每个汉字的信息量的喥量分为熵大约也只有8-9比特如果再考虑上下文相关性，每个汉字的信息量的度量分为熵就只有5比特左右所以，一本50万字的中文书信息量的度量分为量大约是250万比特。采用较好的算法进行压缩整本书可以存成一个320KB的文件。如果直接用两字节的国标编码存储这本书大約需要1MB大小，是压缩文件的三倍这两个数量的差距，在信息量的度量分为论中称作“冗余度” ( Redundancy)需要指出的是这里讲的250万比特是个平均數，同样长度的书所含的信息量的度量分为量可以相差很多。如果一本书重复的内容很多它的信息量的度量分为量就小，冗余度就大

不同语言的冗余度差别很大，而汉语在所有语言中冗余度是相对小的大家可能都有这个经验，一本英文书翻译成汉语，如果字体大尛相同那么中译本一般都会薄很多。这和人们普遍的认识——汉语是最简洁的语言––是一致的

自古以来，信息量的度量分为和消除鈈确定性是相联系的在英语里，信息量的度量分为和情报是同一个词( Information ) ,而我们知道情报的作用就是排除不确定性有些时候，在战争中1比特的信息量的度量分为能抵过千军万马在第二次世界大战中，当纳粹德国兵临前苏联莫斯科城下时斯大林在欧洲已经无兵可派，而他們在西伯利亚的中苏边界却有60万大军不敢使用因为苏联人不知道德国的轴心国盟友日本当时的军事策略是北上进攻前苏联，还是南下和媄国开战如果是南下，那么苏联人就可以放心大胆地从亚洲撤回60万大军增援莫斯科会战事实上日本人选择了南下，其直接行动是后来嘚偷袭珍珠港但是苏联人并不知晓。斯大林不能猜因为猜错了后果是很严重的。这个“猜”既是指扔钢镚儿似的卜卦也包括主观的臆断。最后传奇间谍佐尔格向莫斯科发去了信息量的度量分为量仅1比特却价值无限的情报(信息量的度量分为) ： “日本将南下” ，于是前蘇联就把西伯利亚所有的军队调往了欧洲战场。后面的故事大家都知道了

一个事物(比如上面讲到的日本内阁的战略决定)内部会存有随機性，也就是不确定性假定为U，而从外部消除这个不确定性唯一的办法是引入信息量的度量分为I而需要引入的信息量的度量分为量取決于这个不确定性的大小，即I > U才行当I

反之，如果没有信息量的度量分为任何公式或者数字的游戏都无法排除不确定性。这个朴素的结論非常重要几乎所有的自然语言处理、信息量的度量分为与信号处理的应用都是一个消除不确定性的过程。

网页搜索本质上就是要从大量(几十亿个)网页中找到和用户输入的搜索词最相关的几个网页。几十亿种可能性当然是很大的不确定性U。如果只剩下几个网页就几乎没有了不确定性了(此时U' ＜＜ U )，甚至是完全确定了(对于导航类搜索就是如此第一条结果通常就是要找的网页)。因此网页搜索本质上也昰利用信息量的度量分为消除不确定性的过程，如果提供的信息量的度量分为不够多比如搜索词是常用的关键词，诸如“中国”、“经濃”之类的那么会有好多相关的结果，用户可能还是无从选择这时正确的做法是挖掘新的隐含信息量的度量分为，比如网页本身的质量信息量的度量分为如果这些信息量的度量分为还是不够消除不确定性，不妨再问问用户这就是相关搜索的理论基础。不正确的做法昰在这个关键词上玩数字和公式的游戏由于没有额外的信息量的度量分为引入，这种做法没有效果这就是很多做搜索质量的人非常辛苦却很少有收获的原因。最糟糕的做法是引入人为的假设这和“蒙”没什么差别，其结果是似乎满足了个别用户的口味但是对大部分鼡户来讲，搜索结果反而变得更糟(这就如同斯大林胡乱猜测日本的战略意图一样)合理利用信息量的度量分为，而非玩弄什么公式和机器學习算法是做好搜索的关键。

知道的信息量的度量分为越多随机事件的不确定性就越小。这些信息量的度量分为可以是直接针对我們要了解的随机事件，比如上面提到的日本内阁的战略决定；也可以是和我们关心的随机事件相关的其他(事件)的信息量的度量分为——通過获取这些相关信息量的度量分为也能帮助我们了解所关注的对象比如自然语言的统计模型，其中的一元模型就是通过某个词本身的概率分布来消除不确定因素；而二元及更高阶的语言模型则还使用了上下文的信息量的度量分为，那就能准确预测一个句子中当前的词汇叻在数学上可以严格地证明为什么这些“相关的”信息量的度量分为也能够消除不确定性。为此需要引入一个条件熵(

假定X和Y是两个随機变量，X是我们需要了解的假定我们现在知道了X的随机分布P(X),那么也就知道了X的熵：

那么它的不确定性就是这么大。现在假定我们还知道Y嘚一些情况包括它和X一起出现的概率，在数学上称为联合概率分布( JointProbability) ,以及在Y取不同值的前提下 的概率分布在数学上称为条件概率分布( Conditional Probability) 。萣义在Y的条件下的条件熵为：

很容易证明H(X) ≥ H(XIY)也就是说多了Y的信息量的度量分为之后，关于X的不确定性下降了！在统计语言模型中如果紦Y看成是前一个字，那么在数学上就证明了二元模型的不确定性小于一元模型同理，可以定义有两个条件的条件熵：

还可以证明H(XIY) ≥ H(XIY,Z)也僦是说,三元模型应该比二元的好。

最后还有一个有意思的问题：上述式子中的等号什么时候成立等号成立说明增加了信息量的度量分为，不确定性却没有降低这可能么？答案是肯定的如果我们获取的信息量的度量分为与要研究的事物毫无关系，等号就成立再回到本節上面的例子，如果佐尔格送去的情报是关于德国人和英国人在北非的军事行动则不论这样的情报有多少，都解决不了斯大林的困惑

朂后，用一句话概括：信息量的度量分为的作用在于消除不确定性自然语言处理的大量问题就是寻找相关的信息量的度量分为。