快手對外透露AI實力!短視訊運營的四大環節大揭祕
智東西(公眾號:zhidxcom)
文 | 軒窗
智東西11月2日報道,昨日快手在其總部召開了快手人工智慧沙龍會議,會上快手科技AI技術副總裁鄭文與智東西等少數媒體詳細分享了快手在AI領域的進展,並就快手如何在產品中使用AI技術進行了深入交流。
快手由創始人兼CEO宿華於2011年成立,目前定位為短視訊社群平臺。據瞭解,目前快手的日活使用者數量達到了1.3億,已總計產生了70億條原創短視訊內容。而從每天的使用情況來看,快手使用者會產生1500萬條短視訊內容,每天的使用時長也超過了60分鐘,視訊的日均播放量達150億次。
巨大的視訊流量和使用者數量,也從一方面決定了快手必須應用AI技術來進行平臺運營和管理。智東西瞭解到,目前快手在技術方面有四個團隊,分別負責前端引擎、特效設計、視訊內容稽核、視訊內容理解,總體來說快手技術人員的規模近幾百人。
那麼快手是如何利用AI技術對海量視訊和3億多的使用者運營的呢?今天,智東西將帶你一探究竟。
一、 快手日常運營中的AI技術
在溝通會上,快手科技AI技術副總裁鄭文向智東西等媒體詳細地介紹了快手科技在AI技術上的佈局。
(鄭文是清華大學軟體學院 2001 級學生、斯坦福大學計算機系博士。他曾在矽谷多家知名大公司和創業企業從事計算機圖形學、計算機視覺、深度學習等方向的研究。鄭文現任快手AI技術副總裁,帶領快手在 AI、AR、CV、CG 等方向的研究。)
據鄭文介紹,由於快手的很大一部分使用者使用的是中低端機型,而現在先進的 AI 技術對裝置的計算力要求極高。為了讓普通使用者體驗到AI技術,快手對底層平臺進行定製化開發,也就是快手自研的 YCNN 深度學習推理引擎。這一引擎可以讓快手APP上的AI技術在大多數機型上都能高效執行,並針對不同機型、不同硬體進行了適配和優化。
鄭文說,YCNN深度學習推理引擎針對快手平臺的特點,進行了針對性的模型構建,在快手平臺上執行與市面上普適的引擎相比快了2~3倍。
快手APP的日常運營包括視訊生產、視訊理解、使用者理解、視訊分發四個環節,據鄭文介紹,AI技術已經應用於快手視訊從生產到分發到每個環節。
1、利用AI給使用者視訊生成增加樂趣:
首先在視訊記錄和生成上,快手運用了非常多的AI演算法來讓使用者生成的視訊更有趣。
其中,鄭文重點提到了8個方面:
(1)、三維人臉技術:這項技術的應用主要包括兩方面,一是對人臉進行三位重建,其中將會呼叫手機硬體進行3D打光,對圖片進行活化處理,以及實現對人臉進行變臉;二是利用這項技術驅動表情,利用演算法在使用者拍攝視訊時將人臉替換成Animoji。
(2)、語義分割:這項技術在快手視訊中的具體應用有兩個,一是對人像進行分割,方便進行後續的特效處理;二是對頭髮的分割,可以實現對頭髮的變色處理。
(3)、人體體態估計:這項技術可以實現對使用者在視訊中的肢體動作進行識別和定位。
(4)、手勢識別和檢測:這項技術主要用於識別使用者視訊中的各種手勢,再配合快手推出的各種虛擬動畫,為視訊增加更多玩法和樂趣。
(5)、AR相機姿態估計:據瞭解這項技術是快手自研的,在蘋果推出AR Kit之前快手就已經開始應用了。這項技術將快手視訊內的虛擬物體與使用者真實場景進行融合。
(6)、智慧視訊編碼:這項技術會分析視訊的複雜度以及進行ROI分析(Region of Interest的縮寫,直譯為感興趣區域),比如基於人臉進行QP調製(QuickPass,快速通關係統 )。
(7)、智慧暗光增強:該技術可以對視訊內容進行暗光檢測,如果畫面亮度過暗,該技術還將對視訊畫面亮度進行增強。
(8)、影象質量檢測:該技術可以進行迷糊檢測和髒鏡頭檢測,對視訊清晰度低,或者鏡頭內有塊狀瑕疵的視訊內容,都可以進行檢測,系統則會對使用者進行資訊提示。
2、利用AI對視訊內容進行理解:
而在視訊上傳後,快手的AI技術還將要讓機器學會看懂海量的視訊內容。
在理解視訊方面,快手的AI技術需要做兩項工作:給視訊貼標籤和語音識別與合成。
視訊貼標籤包括識別物體和場景兩個方面,物體方面則包括了人物和物體。在標籤方面,快手也建立了自己的標籤樹,從不同的維度對物體進行區分。
語音識別與合成方面,則包括了視訊語音轉文字和語音合成兩個方面。
3、利用AI對使用者進行理解:
快手APP定位是構建一個面向普通大眾的社群,目前日活使用者數量達到了1.3億,使用者群非常龐大。而從運營的角度來講,為了為使用者進行精準的推薦,快手需要利用AI對使用者進行理解,而理解的方式則是通過對視訊內容和使用者行為進行分析。
在理解使用者方面,快手會對視訊內容進行理解,並對使用者行為進行分析,包括理解使用者所處的位置等。此外,快手還構建了使用者理解向量,從使用者興趣、使用者關係等不同維度理解使用者。
4、利用AI實現視訊和使用者的精準匹配
在內容的匹配和分發上,快手也運用了不少的AI技術。據鄭文介紹,快手有實時線上學習推薦系統,可以將使用者實時行為推向線上推薦引擎和日誌系統兩個方面。
線上推薦引擎包括了檢索、線上模型預測和排序三大引擎。其中檢索引擎,可以利用深度學習技術視訊作品和使用者進行精準理解;線上模型預測引擎利用深度學習技術通過對特徵的比對,為使用者進行視訊推薦;排序引擎則用於快手社群內容多樣性、內容風控和原創保護等方面。
日誌系統則會將使用者的實時行為以秒級的速度及時更新到模型中,內容則用於對新增視訊的線下挖掘和模型的訓練。
而就在10月30日,快手還宣佈正式推出營銷平臺,宣佈進行商業化加速。快手營銷平臺,包括快手廣告和快手商業開放平臺兩大部分,相關的產品包括:資訊流廣告、品牌標籤頁廣告、粉絲頭條、快接單、快手小店、子母矩陣號、商業號等。
與此同時,快手也將自身定位是一家“AI+大資料+社交”的公司。在其營銷系統中,快手特別強調了AI大資料的應用。快手CTO陳定佳也表示,快手未來的廣告和營銷會更多地通過AI和大資料分析實現。
二、快手將獲新融資?
快手成立於2011年,最初名為“GIF快手”。當時智慧手機普及率並不像現在這麼高,流量資費也非常貴,因此快手最初的產品都是GIF格式的。
2013年快手開始將產品形態由GIF轉型為短視訊形式,2014年正式將名字改為“快手”。
隨著智慧手機的普及和流量資費的下降,快手的使用者數量也實現了快速增長,2015年1月快手的日活使用者達1000萬,2016年總使用者突破3億,2018年日活使用者超1.3億。
在資本方面,快手也獲得了不少投資機構的垂愛。2017年3月快手獲得了由騰訊領投的3.5億美元融資,估值也達到了30億美元。今年1月,快手還曾被爆出即將進行融資總價值高達10億美元的融資,按照這次的融資計算,融資後快手的估值將達180億美元。
而就在昨天,美國媒體The Information爆出,騰訊、百度和紅杉資本正在與快手洽談融資事宜,融資成功的話快手的估值將高達250億美元。不過,目前快手對此事並沒有做任何迴應。
今年6月,快手還完成了對Acfun(又稱A站)的整體收購,具體收購金額未透露。收購後,A站保持了獨立的 品牌運營,原有團隊保持不變。快手方面則表示,會在資金、資源、技術上給予A站支援。
結語:AI技術已滲透人們日常的生活中
在本次的溝通會上,快手詳細介紹了AI技術在其平臺日常應用的過程,全面展現了快手日常運營的全貌。從整個溝通的內容來看,AI技術已經滲透到了快手運營的日常。
如果從使用者的角度來看,AI技術其實已經全面走進普通大眾的生活,並正在潛移默化地改變著人們的生活方式。