專訪 | 東方明珠：融媒時代的大資料轉型之路打造
“業務是檢驗大資料價值的核心標準，東方明珠兩年摸索前行，走出了自主、創新、可控的大資料建設之路，樹立廣電行業網際網路+轉型的一面標杆。”——胡俊
導 讀
1994 年，東方明珠成為國內首家文化傳媒上市公司；2011 年，百視通上市，開創廣電新媒體上市先河；2014 年，大小文廣合併，百視通吸收合併原東方明珠重大資產重組啟動；2015 年，東方明珠新媒體股份有限公司成立，這是我國第一家產業鏈一體化佈局的傳媒文化上市公司，集團分設四大事業群，包括媒體網路事業群、影視互娛事業群、視訊購物事業群、文旅消費事業群。
作為一名從業近二十年的軟體研發老兵，胡俊也正是在此時，出任東方明珠新媒體研究院研發總監，負責集團大資料平臺建設；在網際網路轉型的大戰略下，經歷了從大重組調整到現在的融媒轉型，一路走來，見證了“技術力量驅動業務發展“在廣電行業的落地。
Part01 歷時兩年見證新媒體戰略穩穩落地
東方明珠作為綜合文化傳媒集團，迎合新媒體轉型的浪潮，積極構建自己的“文娛+”生態圈。
在公司高階副總裁、首席技術官範若晗女士的領導下，東方明珠這兩年不斷的在大資料、人工智慧、垂直電商、雲端計算、物聯網等領域結合傳媒行業背景，進行了技術嘗試與變革創新，打造出了適合廣電行業的轉型之路。
圖 1. 東方明珠新媒體轉型目標
東方明珠研究院的研發團隊，是在網際網路轉型大戰略的方針指導下，公司自行組建並培養的一支精銳部隊，分為資料平臺組、測試運維組、軟體開發組和產品專案組四個核心小組。
研發團隊負責整個集團大資料平臺及相關係統的建設，主要職責：
-
在匯聚公司核心業務使用者資訊的基礎上，通過前端使用者行為埋點採集，獲取並接入線上線下業務的使用者全量資料。
-
引入優質外部資料，豐富視訊、商品的基礎標籤，擴充內容分析維度，提高使用者畫像的精度。
-
新建適用於全渠道使用者經營的推薦引擎，直接對接線上業務系統或線下業務場景，基於內容標籤和使用者畫像實現精準個性化推薦和營銷觸達。
同時，團隊通過增強基礎資料平臺的穩定性、安全性、計算處理能力及效率，協同業務逐步形成資料驅動的經營機制，精準使用者洞察，實現精準導流、深度運營，為存量業務的精細化運營及新業務的針對性，拓展提供堅實有力的資料支撐。 
圖 2. 東方明珠研發團隊
在公司的大力支援下，這支團隊銳意進取、開拓創新，無論是早期摸石頭過河、還是選擇行業內領先的合作伙伴（如神策資料、公有云服務商等），都秉承著自主可控、精益求精的原則。
兩年建設期，這支團隊攻城拔寨，喜訊不斷傳來：
2016 年 9 月份，大資料建設相關規劃正式立項啟動。
2017 年 3 月份，使用者中心管理平臺一期成功上線。
2017 年 12 月份，使用者中心管理平臺二期順利釋出、DevOps 專案試點成功。
2018 年 2 月份，會員系統一期改造完成。
2018 年 6 月，整合使用者中心和會員中心，升級為資料中臺，資料中臺初步整合完成，全集團 39 個駐地全業務線逐步投入使用。
2018 年 6 月底，基於大資料人工智慧的智慧推薦平臺上線、DevOps 平臺推廣到整個集團研發相關部門。
2018 年 9 月份，會員系統二期改造完成、前端全業務埠打通。
……
Part02 業務是檢驗
大資料價值的核心標準 東方明珠資料中臺，是目前全公司 39 個駐地全業務線都在使用的大資料分析平臺，是實現公司業務資料全面彙集、智慧應用、精細運營的資料資源池。
資料中臺整合的業務資料包括小紅巢、東方購物、百視通 IPTV、百視通 App、百視通 OTT、遊戲群、東方明珠塔、看看新聞 App 等等；均通過東方明珠自建的“資料管道”進行一手資料採集、清洗、處理和分析，然後應用到各業務線的固定報表服務、多維分析服務、使用者畫像服務、即席查詢服務、東方明珠知識庫以及機器學習平臺（如智慧推薦系統、營銷推送系統等）。 
圖 3. 東方明珠 OPG 資料中臺
談到資料中臺建設的點滴歷程，胡俊借用東方明珠旗下百視通總經理程曦的原話告訴筆者，東方明珠的大資料建設，就是“要讓需要資料的崗位都用起來，資料用得多了、用得好了，就越用越準”。
在一年半之前，資料中臺上線試執行期間，當時有臺伺服器宕機了一週，居然沒有任何人發現；到現在，做內外網使用者的安全切換測試，期間只能用 VPN 訪問，短短 1 個小時，他的電話被十幾個駐地的同事給打爆了。
大資料平臺初期建設，主要是研發部門在推動，後來伴隨著公司戰略調整、業務升級，業務部門越來越依賴大資料平臺的使用，參與度越來越深；平臺升級為資料中臺及後續業務融合，都是業務部門需求驅動的。
目前使用範圍已經覆蓋全業務線。自助式服務是東方明珠資料中臺一大特色，極大改善了業務人員使用資料的效率和應用深度。
為了真正發揮資料中臺的價值，東方明珠大資料工程主要從以下幾個方面著力建設：
-
成立戰略專項小組。公司從計劃伊始就成立了戰略專項小組，黨委書記和總裁分別任組長和副組長；各業務部門牽頭的都是集團副總，從上而下貫徹餞行大資料戰略。
-
資料需求彙總管理。大資料相關需求，全部彙總到總部資料研發小組，不再進行獨立小數倉和報表系統的研發；規範和嚴格元資料管理、資料質量管理，實現統一管理、統一發布、統一運營。
-
分步走、階段性專案推進機制。將大資料相關建設專案，實現集中指揮、統籌排程、資源共享，分階段分批進行落地處理、每個階段融入一部分關鍵業務，產出階段性成果，再進行其他業務和平臺整合。
-
充分擁抱開源系統。傳統商業軟體無法滿足東方明珠這個體量和業務複雜度的大資料需求，並且廣電行業對自主可控、資料保護、安全隱私要求較高。
-
沙堆模型落地 DevOps。採用“沙堆模型”在多個業務線開展 DevOps 的工具鏈落地，加速研發流程，逐步遷移、持續部署、持續整合。
-
構建大資料生態合作體系。篩選適合東方明珠大資料發展體系的生態合作伙伴，如神策資料、公有云服務商等，這些服務商在整個中國的大資料生態圈裡，都扮演著舉足輕重的角色。
大資料專案建設是否成功，業務是檢驗的核心標準。東方明珠的大資料建設和應用深度日益成熟，並持續引領行業邁步向前。
從廣電領域的視訊、電視購物、文化旅遊地產，到現在的使用者價值精細化運營，東方明珠一直是整個廣電行業的翹楚。
Part03 教學相長構建安全自主可控的大資料平臺
廣電領域強調安全、自主、可控，東方明珠所有的資訊系統、資料系統，都必須滿足國家合規性的要求，比如源資料要自主自控、異地多活，許可權控制矩陣，強使用者管理體系等。
東方明珠與其生態合作體系的合作伙伴們，一直是教學相長的關係，一路走來，共同把東方明珠資料中臺成功建設完成。
以神策資料為例，目前東方明珠與神策資料的合作包括旗下的東方購物、百視通、梅奔中心、公有云服務商平臺優化改造，甚至一些垂直孵化專案等等。
東方明珠駐地眾多，總部技術團隊需要支撐的業務範圍輻射較廣，DevOps 平臺的推廣和專業服務商的引入，較大的緩解了技術人力稀缺的挑戰。在專業服務商選擇上，胡俊說：東方明珠非常看重服務商在相關領域的實戰經驗，技術的成熟度、解決方案的成熟度，公司資質和團隊背景。
在跟神策資料合作的過程中，對神策資料團隊的產品和服務都很認可，除了大資料使用者行為分析平臺外，尤其對埋點服務和神策推薦演算法的精準度非常滿意。
以百視通 IPTV 某駐地為例，日活數百萬使用者通過 IPTV 機頂盒付費觀看授權內容，部分精品內容需額外充值觀看；在接入神策推薦之前，主要依賴人工推薦，以熱門、付費和內容相關性為主要推薦參考。
為提升使用者的觀影體驗、提高使用者留存以及充值付費營收，東方明珠利用神策推薦解決方案，完成採集點選日誌、展示日誌、播放日誌等所需使用者行為資料，基於行為資料構建深度學習召回演算法策略，採用 GBDT + LR 排序模型訓練資料。
推薦演算法上線兩週後，神策推薦的效果，對比人工推薦，僅 CTR 一個指標即提升了 6 倍，對推薦內容的人均瀏覽次數提升了 1.9 倍。 
圖 4. 神策推薦全流程示意圖
大資料平臺建設專案，東方明珠團隊對自主自控要求較高，在使用者行為分析、埋點等相關領域，神策資料所提供的技術和方案較為成熟，並且神策分析 PaaS 平臺的延展性和開放效能較好滿足集團複雜業務和自主可控的需求，因此東方明珠利用神策分析平臺，充分打通內部業務資料，發揮資源優勢，構建一體化運作的融媒體大資料使用者分析中心。
在精準推薦專案中，東方明珠採用了與神策資料一起敏捷迭代的合作模式，即基於神策推薦平臺，雙方投入研發資源，針對廣電行業的個性化需求進行推薦演算法的打磨升級，並基於神策推薦平臺進行廣電行業個性化應用和場景的深度開發，經過試點駐地的實際結果檢驗，目前已在各大駐地展開推廣。 
圖 5. 召回模型神經網路結構
在跟胡俊的採訪中，他坦言，自己很幸運，因為大資料建設工程的成功，是離不開公司的大力支援，尤其是類似東方明珠這種體量和複雜業態的傳媒集團。內部資料打通難度，平臺是否安全、自主、可控，以及資料在業務線如何深入應用，都是至關重要的點。
胡俊說：萬里長征第一步，我們團隊一起順利邁出去了，我相信東方明珠的大資料平臺能成為廣電行業第一家。真正把資料價值充分發揮和應用，並且為同行的大資料建設提供指導參考。
更多幹貨和案例，可以關注“神策資料”和“使用者行為洞察研究院”公眾號瞭解~ 