why-what-how方式的機器學習總結之二
上面式子算的是z的後驗概率,分子是樣本xi屬於zj的概率,分母是樣本xi屬於每個zi的概率之和,因為有了引數確定的條件所以分母是個邊緣分佈而不是等於1。
M-step就是根據之前最大似然的結果把z的概率代入計算即可。這個過程實際上是固定z,然後最大化似然函式L(θ)求解對應的θ。
EM演算法能收斂,但可能會收斂到區域性最大值,如果函式是凸函式才能保證收斂到全域性最大值。
how
EM的推導過程有點長,這裡只記錄關鍵過程
這個過程用了幾個技巧
(1)分子分母同時增加了Q(z)項
(2)不等號這裡用到了Jensen不等式
(3)第一步和最後一步都用到了期望的定義