探索的定义与含义 互信息 互信息-定义,互信息-含义

互信息(Mutual Information)是信息论里一种有用的信息度量,它可以看成是一个随机变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。互信息本来是信息论中的一个概念,用于表示信息之间的关系, 是两个随机变量统计相关性的测度,使用互信息理论进行特征抽取是基于如下假设:在某个特定类别出现频率高,但在其他类别出现频率比较低的词条与该类的互信息比较大。互信息的定义与交叉熵近似。

互信息_互信息 -定义


互信息

设两个随机变量

的联合分布为

,边际分布分别为

,互信息

是联合分布

与乘积分布

的相对熵,即


互信息

互信息_互信息 -含义


互信息

互信息与多元对数似然比检验以及皮尔森

校验有着密切的联系。

信息的含义

信息是物质、能量、信息及其属性的标示。逆维纳信息定义

信息是确定性的增加。逆香农信息定义

信息是事物现象及其属性标识的集合。

互信息的含义

一般而言,信道中总是存在着噪声和干扰,信源发出消息x,通过信道后信宿只可能收到由于干扰作用引起的某种变形的y。信宿收到y后推测信源发出x的概率,这一过程可由后验概率p(x|y)来描述。相应地,信源发出x的概率p(x)称为先验概率。我们定义x的后验概率与先验概率比值的对数为y对x的互信息量(简称互信息)。

根据熵的连锁规则,有


互信息

因此,


互信息

这个差叫做X和Y的互信息,记作I(X;Y)。

按照熵的定义展开可以得到:


互信息

互信息_互信息 -性质

非负性


互信息

,且等号成立的充要条件是

相互独立。

链法则


互信息

数据处理不等式

探索的定义与含义 互信息 互信息-定义,互信息-含义

互信息

如果

构成马式链,则

其他

某个词t和某个类别Ci传统的互信息定义如下:

互信息是计算语言学模型分析的常用方法,它度量两个对象之间的相互性。在过滤问题中用于度量特征对于主题的区分度。互信息的定义与交叉熵近似。互信息本来是信息论中的一个概念,用于表示信息之间的关系, 是两个随机变量统计相关性的测度,使用互信息理论进行特征抽取是基于如下假设:在某个特定类别出现频率高,但在其他类别出现频率比较低的词条与该类的互信息比较大。通常用互信息作为特征词和类别之间的测度,如果特征词属于该类的话,它们的互信息量最大。由于该方法不需要对特征词和类别之间关系的性质作任何假设,因此非常适合于文本分类的特征和类别的配准工作。

  

爱华网本文地址 » http://www.aihuau.com/a/8103330103/61704.html

更多阅读

3.3多媒体信息的加工与表达 多媒体信息的加工.ppt

3.3多媒体信息的加工与表达一、设计思想本节以多媒体作品“革命先驱——孙中山”的创作为例,结合学生的自主选题和创作活动,以PowerPoint工具软件的使用以及多媒体效果的实现为基础,引导学生了解多媒体作品的制作过程,学习利用工具软

犬儒主义的定义与表现形式 形式主义的表现

犬儒主义的定义与表现形式 百灵社区·《前沿周刊》◇刘松萝犬儒主义的定义与表现形式——《超越犬儒主义》开篇刘松萝一、革新、乱世与犬儒主义20世纪是中国发生巨变的世纪。与历史上的保守相反,中国近代变革的进展之迅速,让人头晕目

成员变量的定义与使用 接口可以定义成员变量

3.3 成员变量的定义与使用成员变量又称为成员属性,它是描述对象状态的数据,是类中很重要的组成成分。本节详细讨论如何来定义成员变量、成员变量的访问权限,以及静态成员变量与实例成员变量之间的区别。3.3.1 成员变量的定义在第2章中,

科学知识的定义与种类 变性的定义及种类

1.科学知识的定义科学知识是用语言、文字、符号或图像等形式准确描述客观事物的名称、本质特征以及不同客观事物之间的相互关系。这个定义包含如下两个含义:(1)科学知识一定要能够描述出来。能借助语言、文字、符号、图像等形式表述

声明:《探索的定义与含义 互信息 互信息-定义,互信息-含义》为网友話捯蟕邊分享!如侵犯到您的合法权益请联系我们删除