計算固定數據集的兩個分類器之間的互信息

Question

搜索完網頁後，我無法回答我的問題。例如，有一些公式可以計算兩個分類器之間的熵。

如何計算互信息？

Answer 1

考慮我們有兩個隨機變量X和Y.這兩個統計變量之間的相互信息由I(X,Y) = H(X) + H(Y) − H(X,Y)定義，其中H(X)是 熵變X的，H(X,Y)是兩個變量的聯合熵，並H(Y|X) = H(X,Y) − H(X)是有條件 熵測量變量Y的不確定性給變量的值X。這兩個變量之間的MI測量給定另一個變量值的一個變量的不確定性減少量。