小步快跑做產品
增長黑客概念,會讓產品迭代速度越來越快。迭代快速的前提,是專案足夠小、上線後獲得收益的週期短。低成本專案和快速驗證的實驗,才能支援快速迭代專案。實驗類似之前更流行的說法-方案。你說方案的時候,可能揹負了確定收益的期待,以及不可回頭上線後效果不好的背鍋氛圍;說實驗少了確定性,追求堆積數量來找到突破。
實驗方法的核心步驟:
- 不斷收集想法
- 以最小成本上線
- 快速用資料說話
其中每一步,涉及大量細節,如優先順序排序、成本控制、指標選取、A/B test搭建…
A/B test好處是精準和快速。對比方案-迭代-版本效果迴歸這個流程,因為版本活躍使用者群、新增使用者分佈不同,難以完全排除因為使用者本身而帶來的資料變化。另外,迭代後灰度釋出到收集足夠的資料出結論,一般要一週。而A/B test讓同期使用者經歷同版本兩個不同的體驗,控制了使用者,有了控制對比,最短3天可以出結論。一個是事後日常觀察,一個是控制變數,A/B test有它的優勢。
不少人崇尚這樣的‘實驗驅動產品迭代’。有人說,自己網站的資料不好看,而後發現方法上有問題,實驗做得不夠多;有人說如果你堅持每週能夠做幾個實驗,產品總能走出困境。這樣說,讓人很難不心動實踐,大不了就是一試。
這個方法背後是概率。就像生物進化,不同的物種隨機變異,萬年積累,運氣好適應環境的那個留了下來。哪個實驗能勝出,不帶預判的時候,只選結果。只是大部分人做的專案,無法接受低成功概率。提高成功率關鍵之一在於選好的實驗,這就又回到的需求的來源:作為產品你自己去用去體驗,源於經驗;對資料的理解和挖掘;業內競品,什麼是新趨勢。
無奈這些都無法短期質變。
如何更有節奏和科學得執行流程,也能提高實驗成功率。源頭正確難速成,過程正確有方法可依。
Sean Ellis 提過一套完整實踐流程:High Tempo Experiment
- 廣泛參與,除了產品,其他部門人也加入實驗合作
- 快節奏,每週做3個實驗
- 每個實驗有專門Project Manger負責,他可以是任何部門的人
- 實驗上線後,跑足夠久的時間
多人蔘與,會讓實驗想法持續積壓,他為此每週例行Week Cadence,來推進想法。每次會議控制時間:
- 15分鐘過增長指標、問題、及機會
- 10分鐘回顧上週實驗結果
- 15分鐘分享實驗的結論和經驗
- 15分鐘選出下週實驗
- 5分鐘回顧剩下的實驗想法
每個實驗,會上Review從這幾個角度分析結果:
- 多問幾次為什麼
- 將結論系統化,也就是能否推廣到增長其他環節
- 對未來實驗有什麼幫助
- 幫助回顧更早做過的專案
實驗結果,通過Transparent Learning,讓更多人知曉。他們將所有結果,成功或失敗,無論好壞,分享給團隊。結果也記錄到實驗牆,團隊新成員看過一遍,知道做過哪些專案,效果如何,免去了新人興致勃勃有了一堆想法,推進時發現全部被實踐過。