怎麼做模型AB實驗? 11 November 2018
不管是模型、策略、規則,我們都希望用灰度釋出、AB實驗的方式驗證它的實際效果,並且用到一些統計指標來量化效果的好壞。
AA實驗 vs AB實驗
實驗波動
AA實驗的波動的原因非常多,大多屬於隨機性因素。
我們需要用置信度和置信區間來描述波動性,從而判斷AB實驗的結果是策略生效導致的還是波動導致的。
你做無數多次AA實驗,指標的差落在某個範圍內(置信區間)的概率有多大(置信度)。
當拿到一個AB實驗資料的時候,我們要能夠知道資料指標有多大概率是因為波動而貢獻的。
實驗指標
指標標準差描述的是指標取值的穩定程度。
尋找穩定性稍好的指標
Read/U(平均每個使用者每天會有多少次閱讀)
參考連結
https://juejin.im/post/5bcd3cfcf265da0b001f69a9