LeCun：賦予機器 “常識” ，重新設計神經網路將是AI 研究重點
【編者按】在認識到需要大大加快計算速度以實現人工智慧的下一個突破之後，Facebook緊跟亞馬遜和谷歌的腳步，正在加緊開發自己的人工智慧晶片。這表明，晶片對人工智慧研究至關重要。
人工智慧研究的進展將與 硬體創新 密切相關。
今天，在2019國際固態電路研討會(ISSCC)的主旨演講中，Facebook首席AI科學家Yann LeCun闡述了 深度學習研究的進展將如何影響未來的硬體架構 。他的論文題為《深度學習硬體：過去、現在和未來》(Deep Learning Hardware: Past, Present, and Future)。
並且，LeCun 公開確認Facebook正在自研AI晶片 ，這是Facebook首次發表官方評論，證實了其在晶片領域的雄心。
LeCun表示，對DL專用硬體的需求會不斷增加。動態網路、關聯儲存器結構以及稀疏啟用等新的體系結構概念將影響未來需求的硬體體系結構型別。
“這可能要求我們重新發明電路中運算的方式，”LeCun說。今天的計算機晶片通常沒有針對深度學習進行優化，即使使用不太精確的計算，深度學習也可以有效。“因此，研究人員正在嘗試設計一種新的方式來更有效地表示數字。”
推進AI領域的一個關鍵因素，尤其是在深度學習方面，將是確保有能夠支援它的硬體。
這是LeCun演講中的一個重要議題，他在會上討論了一份新的研究報告，概述了未來5到10年晶片廠商和研究人員需要關注的關鍵趨勢。
他說：“無論他們建造的是什麼，都將影響未來十年AI的發展。”
在會議開始之前，LeCun與Business Insider就AI領域的發展方向、它對我們日常生活中使用的裝置的意義、人工智慧的現狀以及未來面臨的最大挑戰進行了討論。以下是採訪的要點。
為了改善AI效能，機器必須在能耗方面做得更好
想象有這樣一個真空吸塵器，它不僅聰明到可以為你的起居室繪製地圖，以便不會重複清潔同一個地方，它還能在撞到障礙物之前檢測到它們。
或者想象有這樣一臺智慧割草機，它可以在修剪草坪時智慧地避開花壇和樹枝。
LeCun說，這樣的小裝置要想實現、並流行起來，除了Facebook、Alphabet等正在投資的技術，如增強現實和自動駕駛技術，還需要有更節能的硬體。
更節能的硬體不僅對這類技術的蓬勃發展是必要的，而且對改善Facebook等公司實時識別照片和視訊內容的方式也是必要的。LeCun說，要理解視訊中發生的事情，將活動轉錄成文字，然後將文字翻譯成另一種語言，以便世界各地的人們能夠實時地理解，需要“巨大”的計算能力。
短期內AI將繼續在智慧手機中得到改進
LeCun認為，未來3年內，大多數智慧手機將通過專用處理器將AI直接內建到硬體中，這將使實時語音翻譯等功能在手機上更為普遍。
對於那些近年來一直密切關注智慧手機行業的人來說，這可能並不意外，因為蘋果、谷歌、華為等公司已經將AI更緊密地整合到自己的移動裝置中， LeCun 表示，這將使“各種新應用”成為可能。
賦予機器“常識”將是未來10年AI研究的一大重點
雖然人類通常通過一般觀察(general observations)來了解世界，但計算機通常被訓練來執行特定的任務。舉例來說，如果你想設計一種能夠檢測照片中的貓的演算法，你必須幫助它瞭解貓的樣子，方法是提供給它一個巨大的資料集，其中可能包括數千張標記有貓的照片。
但LeCun認為，未來十年，推動AI前進的聖盃在於完善一種稱為 自監督學習 (self-supervised learning)的技術。換句話說， 使機器能夠通過資料瞭解世界是如何運轉的，而不僅僅是學習如何解決一個特定的問題 ——比如識別貓。
LeCun表示：“如果我們真的訓練(演算法)做到這一點，那麼機器捕捉上下文並做出更復雜決策的能力將會取得重大進展。”他補充說，這樣的技術目前只對文字有效，對視訊和影象仍然無效。
這樣的突破可能是Facebook等公司需要的，用以改進其平臺上的內容稽核，儘管現在還不知道這樣的解決方案何時會出現。LeCun說：“這不是一蹴而就的事情。”
Facebook加入AI晶片競賽，自研ASIC
Facebook認識到，要想在AI領域實現下一個突破，它需要大大提高計算速度。目前，Facebook已經加入與亞馬遜和谷歌的競爭，開發自己的AI晶片。
LeCun 在接受英國 《金融時報》 採訪時表示，Facebook 希望與多家晶片公司合作開發新的晶片設計——最近宣佈了與英特爾合作開展專案——但他也表示， Facebook正在開發自己的定製 “ASIC” 晶片 ，以支援其AI程式。
LeCun說：“眾所周知，Facebook會在需要時構建自己的硬體——例如，構建自己的ASIC。遇到任何障礙，我們都將全力以赴。”這是Facebook首次發表官方評論，證實了其在晶片領域的雄心。
談到公司在晶片方面取得突破的機會時，LeCun補充說：“ 底層肯定有很大的空間 。”
Facebook自研晶片的決定，對英偉達也構成了又一個長期挑戰。英偉達是目前用於資料中心AI的圖形處理器的主要生產商。由於大型資料中心客戶離開，英偉達正面臨短期困境。
現在，更大的需求是更專業的AI晶片，其設計旨在以閃電般的速度、更低的功耗執行單一任務，而不是過去的通用處理器。這種需求不僅吸引了谷歌、亞馬遜、蘋果等公司的投資浪潮，也吸引了幾十家初創企業。
對新的晶片設計和硬體架構的關注表明，需要在基礎計算方面取得根本性突破，以防止今天的AI成為一個死衚衕。
LeCun 表示，縱觀AI的歷史，在研究人員提出讓該領域得到突破的洞見之前，它往往已經在硬體方面取得了很大的進步。
“在相當長的一段時間裡，人們沒有想到相當明顯的想法，”他說，這阻礙了人工智慧的發展。其中就包括反向傳播，這是當今深度學習系統的一項核心技術，演算法可以通過反向傳播來減少錯誤。 LeCun 表示，這顯然是對早期研究的延伸，但直到上世紀90年代計算機硬體發展後，這一技術才得到廣泛應用。
Facebook過去也曾設計過其他型別的硬體，例如，在將資料中心裝置開源供他人使用之前，為這些裝置提出一些新想法。 LeCun 表示，同樣的方法也將適用於晶片設計。他補充說：“我們的目標是將其送走。”
重新設計神經網路，模仿更多人類智慧
Facebook還將研究重點放在神經網路的新設計上。神經網路是深度學習系統的核心，是影象和語言識別等領域最近進展的基礎。
30年前，LeCun在 AT＆T 貝爾實驗室研究AI晶片時，構建了第一個“卷積”神經網路，這是目前深度學習系統常用的神經網路。
LeCun 表示，Facebook正致力於“一切可以降低功耗(並)改善延遲的事情”，以加快處理速度。但他補充說，實時監控視訊帶來的巨大需求，將需要新的神經網路設計。
Facebook也在尋找新的神經網路架構，以模仿人類智慧的更多方面，並使系統更自然地進行互動。
LeCun說，Facebook正大力投入於“自我監督”系統，這種系統能夠對周圍的世界做出更廣泛的預測，而不僅僅是得出直接與它們所接受的資料相關的結論。這可以使它們對世界產生同樣廣泛的理解，從而使人類能夠應對新的情況。
“就新用途而言，Facebook感興趣的一件事是開發智慧數字助理——具有一定程度的常識的智慧助理，”他說。“它們擁有背景知識，你可以和它們就任何話題進行討論。”
向計算機灌輸常識的想法還處於非常早期的階段，LeCun表示，這種更深層次的智慧“不會很快發生”。
他說：“能夠在不確定性下進行預測是當今的主要挑戰之一。”
Facebook正在參與一項更廣泛的研究努力，旨在增強當今的神經網路。在ISSCC研討會上，LeCun概述了這項工作。
其中，包括根據通過它們的資料調整其設計的網路，使其在面對現實世界的變化時更加靈活。另一種研究方法是研究只“啟用”解決特定問題所需神經元的網路，這種方法與人類大腦的運作方式類似，可以大大降低功耗。
研究工作還包括將計算機儲存新增到神經網路中，這樣當與人“交談”時，神經網路就能記住更多的資訊，並形成更強的語境感。
神經網路的進步可能會對驅動它們的晶片的設計產生連鎖反應，這可能會為製造當今領先AI晶片的公司帶來更多競爭。
LeCun 表示，谷歌的TPU——最強大的機器學習資料中心晶片——“仍相當通用”。但“它們做出的假設不一定適用於未來的神經網路架構。”
另一方面，晶片設計的靈活性也有其他缺點。例如，微軟計劃在其所有資料中心伺服器上安裝一種不同型別的晶片，即FPGA(現場可程式設計門陣列)。這些晶片在使用方式上更加靈活，但在處理大量資料方面效率較低，這使它們與專為特定任務而優化的晶片相比處於劣勢。