計算相互信息

假設M是一組對象m，每個對象都有屬性X和Y.現在，如果X和Y對於給定的m只能有一個值（即X，Y是隨機變量P（X = x_i | M = m_i），P（Y = y_i | M = m_i）），可以計算X和Y的互信息。但是如果X可以一次有多個結果會怎麼樣呢？即對於m_3 X = {x1，x2} - 通常X的結果是所有可能結果的子集。在這種情況下，可以測量互信息還是其他衡量依賴性的方法？計算相互信息

是否有可能將X分解爲二元隨機變量X_1，X_2等，其中X_1 = 1 iff X包含x1，否則X_1 = 0，然後對所有組合i，j計算I（X_i，Y_j）該信息爲了得到我（X，Y）？

謝謝。

例子：

m_1: X={a,b}, Y={x,y}; m_2: X={c}, Y={z,x}

來源

2011-02-08 user574959

如果我沒有錯，前提你設置：

If M is a set of objects { m1, m2, ... }, 
and each mi has two attributes X, Y, 
and X, Y can be a set of { x1, x2, ... } , { y1, y2, ... } respectively

，那麼你要定義

*(X, Y) based on each mi's X, Y

那麼，這增加了複雜性在計算方面顯着的問題，但你仍然可以進行相同類型的相關，除了不是關聯t wo值X和Y，則表示兩個子集X和Y相關聯。

來源

2011-02-08 10:15:47 Vanwaril

讓V_X設置X的所有可能結果。我想將互信息的定義擴展爲X是V_X的任何子集的情況。 – user574959 2011-02-08 10:27:22

根據集合的含義以及要使用的互信息，您可以將這些集合視爲原子值。那麼你的事件空間就是V_X的powerset，你可以用通常的方式計算這個較大事件空間的相互信息（比特串）。

有互信息的多變量概括，如交互信息或總相關性，但我認爲他們不是你想要的。你可能更願意查看其他非信息理論多元相關度量。

來源

2011-03-10 16:11:47 rmalouf

計算相互信息

回答

相關問題