世界人工智慧大會背後的智慧助理——樂言科技的技術思路
樂言科技是一家專注於認知智慧領域,以技術驅動為核心的人工智慧公司。基於自然語言處理、知識圖譜、智慧推薦等核心 AI 平臺技術的應用,從認知計算出發去賦能各個行業,提供整體解決方案。目前公司已經成功將核心技術應用於電商行業,並佔領了相當的市場,金融、醫療和政務等各類垂直領域也有實際的應用初步落地,並展現加速趨勢。
隨著現代服務業智慧化程度越來越高,用科技去賦能一部分人工,讓人類去做更有創造力的事,這既是順應市場要求,也是承擔時代使命。「躍升」是一個涵蓋時間、空間的詞:「躍」代表快速高效,在時間角度加速推進產業變革,這離不開深厚夯實的技術積澱;「升」則意味著解放知識密集型勞動,在空間角度最大限度拓展人類能力,這需要打破傳統方式。「樂言有著這樣的願景--躍升人類知識工作。這話聽起來很簡單,真正做起來卻非常艱難。把勞動力從簡單重複的工作中解放出來,是對社會有價值的一件事。」公司創始人及 CEO 沈李斌如是說。
在選擇新的應用領域時,樂言科技會判斷市場空間是有多大,可複製性有多強。在商業落地和遷移的過程中,每個行業的需求不一樣,產品形態也因此不同,而公司目前最核心的競爭優勢是已經形成了自己一套獨立的、成熟的技術和產品思路。以樂言賦能場景為例:電商客服的客戶以中小型的商家為主,且知識庫積累相對完備,產品服務需要更為人性化;政務智慧服務系統知識庫的搭建和維護則尤為關鍵,既要基於內部檔案建立,又要根據政策的更新及時維護,產品服務需要更為精準可靠。
值得一提的是,在剛剛結束的 2018 世界人工智慧大會上,樂言科技還提供了「智慧祕書」,在大會的官方公眾號植入了聊天機器人,使用者可以詢問關於大會的各類問題,以獲取更便捷更精準的諮詢服務。
樂言科技利用自己成熟的技術體系和技術思維,加上強大的工程實力,完成了這項艱鉅的任務。
1)開發時間短
首先,本次開發時間比較短,從 8 月中旬接到任務,直到大會開始前一週才收到完整的大會資訊。樂言科技的做法是從已有的大會(烏鎮網際網路大會、其他人工智慧大會)資訊出發,搭建了一個原型系統,待本次 AI 大會的具體資訊出來後再快速遷移,這主要知識庫的遷移,這涉及知識圖譜層面和語言理解層面。公司使用了過去包括電商在內的開放域的各種各樣的資料,搭建了語義相似度模型、預訓練模型和通用意圖分類模型。
2)會務資訊變化頻繁
針對這個問題,樂言科技在演算法層面從已有大會的會務資訊出發,搭建原型系統,將資料和程式碼不斷的解耦,使得當資料有更新的情況下儘可能不用修改程式碼,從而快速響應資料的頻繁修改。樂言科技從兩個級別實現資料和程式碼的解耦,實現熱插拔。
知識圖譜級別,大會知識圖譜中的元素可像 plug-in 一樣快速更新(CRUD)。新的實體採用動態的方式更新;新的 schema 採用離線的方式更新。在語義理解級別,大會知識圖譜的不同部分對應的語義理解元素也是熱插拔的,包括訓練資料、問法句式、意圖識別、實體識別等。此外,在工程層面,公司搭建了高效的 pipeline,對問答系統的問題收集、資料更新、模型更新等各部件進行快速迭代。
3) 零資料、冷啟動
面對缺乏相應大會的 schema 結構和 query log 等,樂言科技需要去解決冷啟動、零資料的問題,其採取了以下方法。
首先對知識圖譜進行半自動化構建,包括大會資訊自動爬取,機器和人工相結合去抽取關鍵知識點,並對語義理解訓練資料進行增強,使用自動和人工的這兩方面去做一些資料增強——基於知識圖譜反向生成一些問句,然後再人工擴充套件或擴寫,這兩方面是交替迭代並互相增強。此外,還會從對話資料中直接學習,既然沒有現成可用的對話資料,那就找到一些希望支援的對話模式,比如說「這次大會一共來了多少位諾貝爾獎獲得者?」然後再去創造這些資料,再用剛剛資料增強的方法來進行增強。之後去做可解釋性比較強的特徵工程。
雖然現在比較流行 end2end,但樂言科技為了增強可解釋性以及應對資料稀疏的問題,就反其道而行之——把黑盒問題白盒化,然後把對話過程拆解為更細膩的模組,然後每個模組可以單獨建模,測試評估。
樂言完美的應對了以上三項挑戰,並體現出了自己四大技術亮點:
1)混合策略引擎,讓會議助手更智慧
樂言使用了 KBQA(基於知識圖譜的 QA),為支援結構化資料的高精準和多角度查詢,從時態推理、上下位推理等方面深度設計知識圖譜,結合從問句中所含的 KB 的元素中抽象出拓撲結構,以及問題型別,答案型別,使用者意圖等資訊,進行問題模板的匹配,從而支援各種複雜的查詢。IRQA(基於資訊檢索的 QA)為了支援非結構化資料的查詢,公司採用了基於語義的匹配演算法,在模板和知識庫兩方面進行了增強。
之後,對 KBQA 和 IRQA 進行了融合,KBQA 的職責是負責 schema 覆蓋的部分,面向高準確率;IRQA 的職責是負責 schema 未能覆蓋的部分,面向高召回率,回答 KBQA 未能回答的問題。
此外,還加入了 FAQ,以形成三位一體的綜合策略引擎。有些問題可能並不適合 KBQA,但是它又不是 FAQ,更像是一種模板。比如詢問某人的報告在哪裡?在語義理解時,就可以把裡面的一些實體和概念抽出來,這些都可以去做替換,同時答案裡面的東西也可以做替換。所以說會存在三種問答型別,但這三種類型 QA 對使用者來說是感知不到。所有的優化都是針對整體 QA 系統,可能前面一個問題是 FAQ,後一句就變成一個 KBQA,再後面就跳到模板的。
2)多輪對話管理,讓會議助手更擬人
為了讓大會祕書的對話更自然,就需要進行多輪規劃設計。在進行語義理解建模時,樂言從意圖理解分類、問題型別分類、答案型別分類和多輪判定分類這四個角度去考慮。
問題型別是指使用者問的是觀點類的問題還是事實性的問題,是「yes or no」的問題還是「why」的問題,這是從問句本身的一些語言特徵和問法特徵去分析;意圖是說使用者想要什麼;答案型別是他想答案到底是什麼方面的,比如說「多少」或者「數目」。答案型別是指使用者所需答案的實體,比如是「人」、「地點」、「報告」;多輪判定就是說當前這個問題是否接續了上一輪。
使用當前流行的複雜的深度學習模型很難在很少的資料上達到較好的效果,此外,考慮到複雜深度學習模型在可解釋性和可干預性方面的欠缺,樂言科技使用了比較簡單的淺層模型來對上述四個分類問題進行建模,四個分類問題可統一抽象為一個函式:S(t+1) = f(S(t), Q),其中 S(t) 是第 t 輪的狀態向量,每個分量代表其中一個分類問題;Q 是當前 query;f 則是一個可學習的正則化淺層線性模型。
此外,在會議助手中還引入了一個主動詢問入口,遇到沒法回答的問題時,會議助手會主動推薦使用者其他問題。
最後在工程實現上還有比較關鍵的一點——快速響應的 pipeline。當出現多輪判定或者型別分類的錯誤時,可以通過快速 update 資料來快速 update 模型;如果使用者問到一個知識圖譜裡沒有的概念或者關係時,會議助手能夠快速感知到並進入到修復流程。
3)知識卡片推送,讓會議助手更多彩
會議助手能對使用者問題中的實體在知識圖譜進行推理,推薦實體更詳細的資訊,以及與該實體相關的其他實體資訊,讓使用者對該實體有立體化的瞭解,更好的符合了人的認知過程。同時,會議助手還會對大會熱點問題和參會常見問題進行推送,讓使用者對大會有更全面的瞭解,體現出問答的多樣性。
4)線上持續學習,讓會議助手不斷自我「成長」
樂言為會議助手構建了持續學習機制,使其能對線上資料、潛在 Bad cases、新實體等進行持續挖掘,並將結果反饋給系統各個模組:挖掘出的熱點問題用於更新問題推送權重;挖掘出的 Bad cases 重新標註後更新模型;挖掘出的新實體更新知識圖譜。