螞蟻金服智慧推薦引擎解決方案與實踐
摘要：以“數字金融新原力(The New Force of Digital Finance)”為主題，螞蟻金服ATEC城市峰會於2019年1月4日上海如期舉辦。金融智慧專場分論壇上，螞蟻金服人工智慧部高階技術專家王志勇做了主題為《螞蟻金服智慧推薦引擎》的精彩分享。
演講中，王志勇代表螞蟻金服首次向公眾介紹了螞蟻金服智慧推薦引擎，分享了螞蟻金服利用人工智慧和大資料能力在推薦引擎上沉澱的大量經驗，並介紹了結合螞蟻自身優勢打造的、能夠靈活適配各種業務場景的智慧推薦引擎解決方案（ARE）及其能力和優勢。
王志勇 螞蟻金服人工智慧部高階技術專家
首先，對“推薦”和“營銷”這兩個概念而言，每個人的理解可能都各不相同。本文提到的推薦主要特指 “推薦引擎”，是為了達到高效營銷這個 “目的”的一個“手段“，也就是通過推薦引擎實現更好的營銷，當然推薦引擎的能力不限於幫助營銷，也可以幫助提升產品、服務、內容的使用者體驗，本文的分享將主要圍繞以下三個方面：
一、 螞蟻的業務場景
二、 螞蟻智慧推薦實踐
三、 智慧推薦解決方案
一、螞蟻的業務場景
螞蟻業務的進化
螞蟻金服的業務進化主要經歷了線上化、資料化和智慧化三個階段的發展和演進過程。
從2004年支付寶成立一直到2012年，這個階段主要是工具的線上化。從最開始的擔保交易到轉賬、信用卡還款、水電煤繳費等功能，通過線上化的工具提升了效率，也沉澱了資料。這個階段，支付寶的營銷方式也比較粗獷，比如給所有人發一個相同的紅包或者優惠券，因此當時的營銷也主要圍繞打造一個好的工具，快速配置一個營銷活動、獎品，並確保在交易流程中的安全、穩定。
到了2013年，隨著移動網際網路浪潮、killer app 餘額寶的誕生支付寶APP的日活從不到百萬迅速增長到千萬級別。此時如果再使用原本粗獷式的營銷方式肯定會出現問題，這個階段資料顯得越來越重要，營銷開始升級為從使用者資訊資料、使用者行為資料、業務資料探勘出來的人群標籤，實現分客群營銷，從而提升營銷效率。這個階段BI給運營人員提供巨集觀的決策參考，但不同運營人員對業務的理解、對資料敏感度的差異會導致營銷效果不一樣。現在市面上大部分的精準營銷產品對應這個階段，一套有圈人能力的營銷管理工具。
到2016年左右，隨著人工智慧團隊的成立，螞蟻金服逐漸開始以推薦引擎來幫助營銷，系統層面更實時的感知使用者行為，演算法層面通過機器學習能力來自優化決策系統。這個階段離線圈人只是決策的起點，推薦引擎會綜合使用者的歷史偏好、實時營銷反饋以及全站所有行為事件來調整模型，提供更為微觀的決策能力。這個階段對運營人員的要求也降低了，因為模型會不斷迭代糾偏。
金融生活場景
目前，螞蟻金服以及合作伙伴通過支付寶、財富、微貸、保險、網商銀行等產品已經能夠覆蓋廣大使用者的大部分金融生活場景。
對於具體推薦的頁面而言，比如支付成功頁的推薦、廣告位、會員惠支付以及紅包等的背後都有螞蟻金服智慧推薦引擎在發揮作用。
在支付寶的財富、微貸、花唄以及保險的頻道首頁，通過智慧推薦引擎實現的“千人千面”。還有商家生活號以及生活圈、小程式，也有推薦引擎發揮作用。
二、螞蟻智慧推薦實踐
對於螞蟻金服而言，在智慧推薦方面存在著很多的挑戰。下圖中就列舉出了智慧推薦所需要面對的6大挑戰。
- 選擇人群：如何基於資料和業務規則選擇合適的准入人群？
- 識別實時場景：如何識別出使用者所處的實時場景，比如什麼時間、在什麼地點、做了什麼事情？
- 選擇獎品、優惠券、服務：這是推薦的核心問題，如何選擇合適內容推薦給使用者？
- 流量渠道和創意：流量有成本，如何合理利用流量渠道，用最好的創意打動使用者？
- 多次推薦：推薦不是一次性過程，如何通過多次推薦最終實現目標？
- 平臺和架構：工程架構是基礎，什麼樣的架構能提升推薦模型迭代效率從而快速提升推薦效果？
人群選擇
圈人一般常用的有三種：一是最常見的是技術資料探勘的標籤圈人；另外比較高階點的是 lookalike圈人，通過給定的種子人群特徵，去全量人群中召回有相似特徵的人群並做優選，從而擴散到一個更大的相似人群；還有很常用也很簡單的是基於業務規則圈人。
實時場景事件
對於實時場景事件而言，早在2014年螞蟻金服剛開始構建智慧推薦體系的時候，運營同學對智慧營銷的期望經常會用一個具象的case來描述：某使用者購買了一張8點鐘開始的電影票， 6點鐘他到了電影院所在的商場，開啟支付寶APP，會收到一個推薦，本商場xx飯店的打折券。在具體實現上，我們通過使用者實時事件來刻畫場景，實現實時場景推薦，與此同時，實時事件也可以幫助線上訓練模型，實現機器線上學習（online learning）。
偏好與發現
發現使用者偏好是推薦的前提，除了資料收集和挖掘，模型選擇也很重要，這裡說一下螞蟻內部常用的模型：
注意力模型：深度學習中的注意力機制從本質上講和人類的選擇性視覺注意力機制類似，核心目標也是從眾多資訊中選擇出對當前任務目標更關鍵的資訊，螞蟻的業務場景豐富，導致資料比較多元，注意力模型能幫助當前推薦目標的達成；
Wide & deep模型：wide模型記憶（memorization）即從歷史資料中發現item（推薦內容）或者特徵之間的相關性，deep模型泛化（generalization）即相關性的傳遞，發現在歷史資料中很少或者沒有出現的新的特徵組合，尋找使用者的新偏好。
MAB演算法：解決推薦的冷啟動問題，嘗試推薦新內容，並且通過使用者的實時反饋來不斷調整產品的曝光量，並優化整個模型。
智慧創意
大家平時都會接觸到各種各樣不同的廣告，不同的廣告創意（文字、圖片、視訊）效果差別很大。這裡其實有兩個問題，一是AI能不能幫助我們設計更好的創意，二是如何快速優選使用者認可的創意。我們內部有個叫畢加索的系統，來提升創意設計效率和效果。
我們收集了大量的廣告文案，運營同學只需要簡單填寫需求資訊，通過NLP技術會自動生成候選文案供使用者選擇。除了完整的文案建議，還能結合使用者標籤，也提供個性化文案模板，推薦系統會根據被推薦的使用者特徵來填充標籤值，實現個性化文案，例如車險到期是續簽廣告，“本田車主50元大禮”比“車主50元大禮”點選效果要好很多（這個case只是簡單的規則標籤填充，更多的案例是演算法生成）。
另外，對AI系統來說，候選創意的數量越多，演算法的空間越大，快速生成更多的創意顯得非常重要。原來一百張圖片與文案的製作需要花費很多的時間和精力，而通過畢加索的圖文合成能力，能很快生成大量創意，例如有10種底圖和10種文案，能叉乘出100種創意。接下來就是創意優選，這100種創意都會獲得一定的曝光，通過MAB演算法可以並根據使用者的實時反饋來調整每個創意的曝光比例，某個創意的點選率高，曝光率也就會越來越高，從而提升整體的點選率。
強化學習
我們發現，原來的營銷推薦，都是短期的、離散的，一年下來營銷活動很多，也做活動資料的總結，總結會變成一些人腦海中的經驗，但沒有實時、持續的去優化我們的使用者營銷方案。實際上營銷就像打高爾夫球，很難一次進洞，不斷調整我們的營銷策略，讓每一杆揮得恰到好處，才能更快的接近球洞（目標）。另一方面，使用者對產品的使用是持續的，使用者營銷會有拉新、促活、留存的任務，我們站在使用者的使用角度去設計營銷產品，把活動、獎品、服務都算作使用者激勵的手段，通過強化學習，把使用者的每次行為都作為決策智慧體（推薦引擎）的一次反饋，從而拿到整體最優的營銷效果。
快速迭代工程架構
資料、特徵、模型都很重要，但良好的工程架構是基礎。尤其對演算法來說，模型的快速迭代非常關鍵，如果優化一個模型，需要幾天才能釋出，活動也許早就結束了。在螞蟻金服內部有一套完善的工程架構來保證演算法的快速迭代。和很多金融機構的業務類似，我們的穩定性要求非常高，變更的釋出往往需要經過一個比較嚴格的流程。但是模型迭代一般不會影響具體功能，僅影響效果，螞蟻內部提供的微容器架構，讓演算法模型迭代在容器內釋出即可，穩定快速。
模型的效果對比和驗證非常重要，我們內部有專門的A/B Test平臺來支援實驗，對比不同模型的效果，從而優選模型。此外，螞蟻金服的工程架構還能夠保證特徵的一致性，能保證離線訓練和線上預估使用同一份特徵和程式碼，從而保證模型的效果。
三、智慧推薦解決方案
上面主要分享了在螞蟻內部如何實現智慧推薦的，接下來將和大家介紹螞蟻金服基於自身經驗並結合銀行、證券等公司業務特點打造的解決方案，產品名稱是螞蟻金服智慧推薦引擎 (Ant Recommendation Engine)，下文都簡稱ARE。
1. 靈活適配多業務場景
在下圖中的業務模組中，銀行、證券等金融機構的大部分業務和螞蟻金服類似，可能包含了支付、轉賬、存款、積分、借貸以及基金和理財等業務，我們的ARE只需要通過介面和資料打通客戶的業務，實現各種業務場景的智慧推薦。
我們需要三部分的資料打通：
一是使用者通過上圖中最上面一層的“渠道”，比如手機APP、銀行櫃檯、PC客戶端等會看到推薦內容（產品、服務、活動、獎品等），如果使用者感興趣就會產生點選行為、購買使用行為，而如果使用者不感興趣就可能直接離開，這些使用者的行為資料會同步到推薦引擎資料中心裡面；
二是使用者的其他行為，比如交易、信用卡支付或進入了某個地理位置等，這些資料也會同步到資料中心中；
三是業務自身的資訊，比如商品名稱、基金產品收益率等需要匯入到資料中心中。
系統經過提取和計算，從資料中心中獲得實體類（item）特徵和使用者特徵（user），再進行模型訓練，獲得最新的模型。
客戶的業務系統可以呼叫ARE的介面來實現推薦。引擎內部會基於目標人群，召回合適的推薦內容後通過模型和規則來實現打分排序。此外ARE還提供了常用演算法庫、動態程式碼（根據推薦場景編寫的程式碼，無需走系統釋出流程）以及配置後臺，可以靈活適配包括營銷、產品在內的幾乎所有業務場景。
2. 標準資料流程
ARE定義了標準的資料格式，系統打通時要確保使用者行為事件的日誌格式都是標準的。如果客戶使用了螞蟻的mPaas產品，通常情況下資料不需要做任何轉化，就能符合ARE的標準。資料格式、特徵工程、模型訓練，整個資料處理流程是標準化的，對於大多數客戶而言，可以大大減少演算法和資料相關的開發工作量。
3. 策略和實驗
針對銀行等金融客戶的特點，螞蟻金服智慧推薦引擎已經將LR、GBDT、MAB等常用的推薦模型整合到ARE內部，結合上面的標準資料處理流程，客戶基本可以在沒有演算法工程師的情況下實現基礎的智慧推薦。此外，ARE也支援使用者將訓練好的模型（PMML檔案）上傳到系統中。考慮到推薦的效果與運營規則也密切相關，因此在螞蟻智慧推薦引擎中也集成了比較簡單的規則引擎。同時，系統還提供了A/B Test等工具幫助使用者選擇更加適合自己的策略模型。
4. 實時事件中心
舉個例子，A銀行的某使用者屬於低淨值使用者，某一天這個使用者突然存了50萬，理論上這時候系統要立刻感知這個變化，原本推薦低門檻理財產品應該換成門檻高收益高的理財產品。使用好ARE實時事件中心可以很容易地感知使用者變化，通過對於使用者行為（日誌或者行為資料）的標準化定義和實時收集，能夠很快地刻畫出使用者行為的空間，進而實現相關特徵的提取和模型訓練，基於這樣的能力就可以實現更加實時的場景化推薦。
5. ARE的工程優勢
ARE的架構是基於螞蟻金服內部所使用的推薦引擎，經過業務的多年考驗，系統架構已經非常成熟和穩定。ARE能夠支援彈性伸縮和水平擴充套件，具有較高的效能，秒級響應請求，實時資料更新分鐘級影響推薦結果。最後，因為在架構方案中，智慧推薦引擎基於的是螞蟻金融雲，因此監控體系、運維體系以及預警體系都很成熟，運維部署非常方便。
點選 閱讀更多 ，檢視更多詳情