技術週刊(2019-03-12 前端資料採集與統計)
程式化地從使用者處採集資料並加以分析可以幫助產品制定策略,幫助工程師診斷問題、找到效能瓶頸。下面是承虎準備的一系列文章,介紹了從資料採集到分析利用的方方面面。
綜述:
本文是阿里的 Clue 前端監控平臺負責人在 D2 上的分享,從採集、資料處理、分析、報警 4 個維度闡述瞭如何把前端監控做到極致。
本文是阿里雲監控團隊的彭偉春在 GMTC 上的分享,討論了:單頁應用下 PV 、首屏時間的重新界定,主動監控與現場還原,日誌上報等最佳實踐。
採集:
對於效能資訊,W3C效能工作組已經提供了一組 Performance API,能夠詳盡獲取各階段的資料加以利用。
本文僅介紹了蘇寧使用者行為採集團隊在制定埋點規範、H5 與 native 日誌打通、埋點無痕化、日誌傳輸與日誌安全上的一些探索過程和經驗。
統計:
LinkedIn 的工程師分享了他們對異常值的判定方式——忽略假陰性而減少假陽性,並介紹了相關異常監控平臺 ThirdEye 的處理方式——用樣條迴歸方程偵測 Web 應用變慢的趨勢,用符號檢驗找到持續性異常,用掃描統計以偵測最明顯的一小時異常,用精準/最小發現時間模型來保證異常不多報和亂報,通過指標相關係數計算推測核心異常。
在效能統計中,我們經常容易陷入統計學的陷阱中,本分享詳細介紹了 95 percentile、99 percentile 及在此之上的平均值統計造成的結論錯誤——前端跨頁請求數在逐年增加,請求越多則越可能經歷大於 99 percentile 的值。視訊介紹了更多數學計算結果和特定的統計方式如何造成了問題。
編輯: @馮雨 & 審閱: @humphry huang & 專題供稿: @humphry huang