迭代的條件模式E步驟EM

Question

我想知道在EM算法中使用ICM作爲E步驟的近似的數學理由是什麼。

正如我在E步驟中所理解的，我們的想法是找到一個等於潛變量後驗分佈的分佈，它保證了可能性增加或從一些簡單的分佈族中找到最佳可能分佈，似然函數的下界增加。

在這樣的E步驟中，如何在數學上證明使用ICM？任何參考/派生/筆記都會非常有幫助。

感謝您的幫助。

Answer 1

讓我們考慮一個簡單的CRF，它代表給定觀察（x）的標記（y）的可能性。也假定可能性取決於參數\ theta。在推論中，你只知道x並試圖推斷y。你簡單的做法是應用EM算法以E步找到標記y（argmax P（y | x，\ theta））的方式，M步找到參數\ theta（argmax P（\ theta | x，y）） 。 M步驟可以通過使用任何優化算法來完成，因爲\ theta通常不是高維的（至少不高於y的維度）。 E步驟只是對無隱藏變量的MRF/CRF進行推理，因爲\ theta是單步優化的。 ICM是一種用於執行推理的算法。如果你想參考，你可以簡單閱讀墨菲的書http://www.cs.ubc.ca/~murphyk/MLbook/，我想第26章是相當相關的。