十年磨一劍，阿里巴巴推薦與搜尋深度學習服務體系AI·OS在雲棲大會正式亮相
2018 年 9 月 21 ～ 22 日，在以“驅動數字科技”為主題的雲棲大會上， 阿里巴巴搜尋事業部特別推出了“搜尋推薦專場”，“推薦與搜尋引擎 AI · OS 專場”，深度參與了這場科技盛宴。
阿里巴巴推薦與搜尋引擎平臺支援了包括淘寶、天貓、菜鳥、優酷以及海外電商在內的整個阿里集團的推薦與搜尋業務，引導成交佔據了集團 GMV 的絕大部分份額。隨著智慧化時代到來，引擎平臺正日益發展為大資料深度學習線上服務體系 (AI Online Serving) 。此外，引擎平臺還擁有多項領先演算法技術，如 IBrain 深度實時使用者感知模型，可建設最完整的靜態與動態電商使用者興趣感知網路，能夠直接用於使用者行為識別、偏好預估、個性化召回、個性化排序等任務中，在搜尋、推薦和廣告等個性化業務中有廣泛的應用場景。
在 9 月 21 日的“推薦與搜尋引擎 AI · OS 專場”的分論壇上，阿里巴巴高階研究員、搜尋推薦工程技術負責人五福正式釋出了阿里巴巴 AI · OS 系統，其團隊向分論壇參與者詳實地介紹了，隨著智慧化時代的到來，在保持原有的全鏈路 10 秒級更新延遲的引擎平臺之上， AI · OS 是如何拓展支援各種深度學習網路預測的靈活拆分，支援超 TB 的模型，驅動異構計算、實時計算以及深度學習訓練平臺發展，不斷追求效率的極致。
AI · OS 系統不僅僅服務於阿里集團的業務，同時也通過阿里雲開放搜尋 OpenSearch 產品服務外部開發者。為了更好賦能外部開發者，五福團隊正在研發 OpenSearch 2.0 ，進一步把淘寶、天貓更多的搜尋核心演算法產品化，給開發者提供效果更好、更智慧的搜尋服務體驗，實現一鍵複製淘寶搜尋的能力。此外，在推薦場景，阿里雲智慧推薦產品也將在近期推出公測， AI · OS 系統將進一步賦能給開發者。
（上圖為阿里巴巴高階研究員，搜尋推薦工程技術負責人五福在雲棲大會）
淘寶搜尋每天所承擔的資料量級很大，數十億級的 query 、數十億級的商品、數百萬級的賣家以及過半淘寶和天貓的 GMV 等。如此龐大的資料處理自然離不開靈活、易用和高效的 AI · OS 。在“推薦與搜尋引擎 AI.OS 專場”上，阿里巴巴資深技術專家蘭韜向與會者介紹了淘寶搜尋與 AI.OS 的關係。阿里巴巴高階技術專家吳宗遠則帶領大家深入瞭解了阿里推薦系統架構的演進歷程，並分享了在整套系統建設過程的經驗教訓。首先從猜你喜歡總體架構開始講起，緊接著分享了業務層 TPP 服務架構，推薦的核心是圖，因而重點對全圖化推薦引擎進行了分析說明，包括線上圖查詢引擎 iGraph 和線上圖服務框架 SuezTuring 。阿里巴巴高階技術專家唐輝天、柳明還介紹了搜尋演算法在雲上產品化的嘗試和探索，以及如何給演算法開發人員提供簡單高效的、端到端的、顛覆式的搜尋演算法開發、調優和評測體驗。阿里巴巴資深開發專家陳樂重點介紹了搜尋工程團隊在手機淘寶搜尋和拍立淘場景中成功落地了多個場景，提升機器學習的實時性、豐富性，改善使用者體驗並節省服務端計算資源的 實踐與探索。阿里巴巴高階技術專家李偉分享了其在大規模分散式系統運維管理上的經驗，尤其是如何通過在離線混部、彈性排程，自動容量評估和部署優化等方式高效支援每年的雙 11 大促。
（圖為 推薦與搜尋引擎 AI.OS 專場講師合影）
而在同一天，阿里搜尋事業部搜尋推薦演算法團隊帶著“搜你所需，薦你所想”的使命和願景推出了“搜尋推薦專場”。作為賦能淘寶和天貓等產品背後的核心搜尋推薦演算法技術，吸引了大量的參會者參加，現場可以算是爆滿了。
（搜尋推薦專場現場參與狀況）
阿里巴巴搜尋事業部從成立到今年剛好是第十個年頭，演算法上經過了好幾次大的更新換代，包括從最初首次使用機器學習模型，開啟千人千面的個性化時代，到大規模機器學習的時代，以及應用線上學習平臺實現模型的線上學習和實時更新，到最近的深度學習技術的全面應用等等。經過十年的發展，阿里巴巴的搜尋推薦技術已經取得了世界領先的水平。
本次大會上，來自阿里巴巴集團的眾多專家對最新的發展方向和研究成果作了詳細的解讀。其中阿里巴巴研究員鄭波重點介紹了多場景和多目標的遷移學習在電商場景中的應用。阿里巴巴資深演算法專家鄧洪波介紹了新一代的智慧互動搜尋及其背後的演算法。在推薦方面，阿里巴巴資深演算法專家歐文武重點介紹了新版的猜你喜歡系統，包括基於圖計算和圖引擎的新推薦引擎，基於強化學習和多智慧體的智慧決策，以及如何加速預測和訓練提速等方面。來自阿里巴巴的資深演算法專家趙斌強從另一角度詳細介紹了推薦系統中的向量化，包括商品的向量化和使用者的向量化，探討了如何將各種特徵組合以及使用者的行為和物品資訊融合到一起學習，從而可以增強推薦演算法的發現性和冷啟動的能力。
（圖為搜尋推薦專場講師合影）
AI · OS （ Online Serving ），大資料深度學習線上服務體系，由搜尋事業部工程與演算法同事們砥礪十年而成，支撐起海內外阿里電商全部的搜尋和推薦業務，時刻置身大資料主戰場，引導成交佔據大盤主體；此外，作為中颱技術中堅， AI · OS 已是包括電商、阿里雲、優酷、菜鳥、盒馬、釘釘等等在內全集團的基礎設施；更為重要的是， AI · OS 體系的十年積累，已經透過雲產品矩陣服務於全球各行各業的開發者，搜尋即服務，推薦即服務已經深入人心，產品創新和服務能力還在持續升級。