平均場變分推理的更新

Question

我想知道ELBO是否應該隨着變化參數q_i的每次更新而單調遞增？我知道它應該在每次迭代中增加，但是在每個q_i的一次迭代中這也是如此嗎？謝謝！

Answer 1

是的，也是如此。認爲它是一種座標上升法：

q_i^t = argmax_{q_i} \cal{L}(q_1^{t}, ...,q_{i-1}^{t}, q_i, q_{i+1}^{t-1}, ..., q_n^{t-1}). 

所以你總是最大化。