互信息

互信息是信息論中一種有用的信息測(cè)度，可以看作是一個(gè)隨機(jī)變量所包含的關(guān)于另一個(gè)隨機(jī)變量的信息，或者是知道另一個(gè)隨機(jī)變量所減少的不確定性。互信息的定義和交叉熵近似。互信息與多元對(duì)數(shù)似然比檢驗(yàn)和皮爾遜檢驗(yàn)密切相關(guān)。

互信息是計(jì)算語(yǔ)言學(xué)模型分析中常用的方法，它度量?jī)蓚€(gè)對(duì)象之間的相互關(guān)系。用于衡量過(guò)濾問(wèn)題中特征對(duì)主題的區(qū)分程度。互信息的定義和交叉熵近似。

互信息原本是信息論中的一個(gè)概念，用來(lái)表示信息之間的關(guān)系 是兩個(gè)隨機(jī)變量之間統(tǒng)計(jì)相關(guān)性的度量用于特征提取的互信息理論的使用基于以下假設(shè)：在某個(gè)類(lèi)別中出現(xiàn)頻率高而在其他類(lèi)別中出現(xiàn)頻率低的條目與該類(lèi)別的互信息更大。

互信息通常被用作特征詞和類(lèi)別之間的度量如果特征詞屬于這一類(lèi)，其互信息最大。由于這種方法不需要對(duì)特征詞和類(lèi)別之間關(guān)系的性質(zhì)做任何假設(shè)，因此非常適合文本分類(lèi)中特征和類(lèi)別的配準(zhǔn)。

信息是物質(zhì)、能量、信息及其屬性的標(biāo)記。逆維納信息定義了信息是確定性的增加。逆香農(nóng)信息將信息定義為事物現(xiàn)象及其屬性標(biāo)識(shí)符的集合。

一般來(lái)說(shuō)，信道中總是存在噪聲和干擾信源發(fā)出一個(gè)消息X，經(jīng)過(guò)信道后，信宿可能只接收到一些干擾造成的變形Y。接收到Y(jié)后，信宿推斷信源發(fā)送x的概率，這個(gè)過(guò)程可以通過(guò)后驗(yàn)概率p來(lái)確定(x|y)來(lái)描述。因此，源發(fā)射x的概率p(x)稱(chēng)為先驗(yàn)概率。我們將X的后驗(yàn)概率與先驗(yàn)概率之比的對(duì)數(shù)定義為Y與X的互信息（簡(jiǎn)稱(chēng)互信息）