下一代計算架構革命，從“全光學神經網路”開始
【新智元導讀】近日，Nature刊載IBM新研究，使用光學器件打造的“全光學”深度神經網路可以比傳統計算方式的能效更高，同時具備可擴充套件性、無需光電轉換和高頻寬等優勢。這一發現可能給未來光學神經網路加速器的出現打下基礎。
光纖能夠以光的形式在世界範圍內傳輸資料，成為現代電信技術的支柱。不過如果需要分析這些傳輸資料，要將其從光訊號轉換為電子訊號，然後用電子裝置進行處理。曾經有一段時間，光學被認為是未來最具潛力的計算技術的基礎，但與電子計算機的快速進步相比，光學計算技術的競爭力明顯不足。
不過，在過去幾年中，業界越來越關注對計算能源的成本問題。因此，光學計算系統再次受到關注。光學計算的能耗低，又能作為AI演算法（如深度神經網路（DNN））的專用加速硬體。 近日，Feldmann等人在《自然》期刊上發表了這種“全光學網路實現”的最新進展。
論文地址：https://www.nature.com/articles/s41586-019-1157-8
深度神經網路包括多層人工神經元和人工突觸。這些連線的強度稱為網路權重，可以是陽性，表示神經元的興奮，或陰性，表示神經元的抑制。網路會盡力將實際輸出和期望輸出之間的差異實現最小化，從而改變突觸的權重，來執行影象識別等任務。
CPU和其他硬體加速器通常用於DNN的計算。DNN的訓練可以使用已知資料集，而經過訓練後的DNN可以用來推理任務中的未知資料。雖然計算量很大，但計算操作的多樣性不會很高，因為“乘法累加”操作在許多突觸權重和神經元激勵中占主導地位。
DNN在計算精度較低時仍能正常工作。因此，DNN網路代表了非傳統計算技術的潛在機會。研究人員正在努力打造基於新型非易失性儲存器件的DNN加速器。這類裝置在切斷電源時也能儲存資訊，通過類比電子計算提升DNN的速度和能效。
那麼，為什麼不考慮使用光學器件呢？導光部件中可以包含大量資料 - 無論是用於電信的光纖還是用於光子晶片上的波導。在這種波導內部，可以使用“波分複用”技術，讓許多不同波長的光一起傳播。然後可以以與電子到光學調製和光電子檢測相關的可用頻寬限制的速率調製（以可以攜帶資訊的方式改變）每個波長。
圖1 全光學脈衝神經元迴路
使用諧振器可以實現單個波長的新增或移除，就像對貨車的裝貨和卸貨一樣。使用微米級環形諧振器可以構建DNN網路突觸權重陣列。這種諧振器可以採用熱調製，電光調製，或通過相變材料調製。這些材料可以在非晶相和結晶相之間切換，不同的材料的吸光能力差別很大。在理想條件下，進行乘法累加運算的功耗很低。
Feldmann研究團隊在毫米級光子晶片上實現了“全光學神經網路”，其中網路內沒有使用光電轉換。輸入的資料被電子調製到不同的波長上注入網路，但此後所有資料都保留在晶片上。利用整合相變材料實現突觸權重的調節和神經元的整合。
圖2 人工神經元的脈衝生成與操作
本文作者小規模地展示了有監督和無監督的學習 - 即使用標記資料實現訓練（DNN學習的方式），以及使用未標記的資料訓練（類似人類的學習方式）。
圖3 基於相變全光學神經元系統實現監督學習和非監督學習
因為權重表達是通過光的吸收實現的，所以負權重需要更大的偏置訊號，該訊號不能啟用相變材料。一種替代方法是使用Mach-Zehnder干涉儀的裝置，將單個波導分成兩個臂，然後重新組合，這時的透射光量取決於兩個傳播路徑之間光學相位的差異。然而，要想將這種方法與波分複用相結合可能難度較大，因為每個干涉儀的臂需要為每個波長引入適當的相位差。
全光學實現的DNN仍然存在重大挑戰。在理想情況下，它們的總功率使用率可能較低，經常需要熱光功率來調節和維持每個Mach-Zehnder干涉儀臂中的光學相位差異。
圖4 全光學神經網路的可擴充套件架構
此外，對注入含有相變材料的系統的總光功率必須仔細校準，以使材料對輸入訊號的響應符合預期。儘管相變材料也可以用於調整Mach-Zehnder相位，但是材料吸收光的強度和減慢光速之間會出現不可避免的交叉耦合，這會增加系統的複雜性。
傳統的DNN規模已經發展到很大，可能包含數千個神經元和數百萬個突觸。但是光子網路的波導需要彼此間隔很遠才能防止耦合，並且避免急劇彎曲以防止光離開波導。因為兩個波導的交叉可能會將不需要的功率注入錯誤路徑，這對光子晶片設計的2D特性造成了實質性的限制。
圖5 單層脈衝神經網路的實驗實現
實現光學器件打造神經網路需要很長的距離和很大的面積，但是每個光學結構的關鍵部分的製造需要高精度。這是因為波導和耦合區域，比如在每個微環諧振器的入口和出口處，必須達到相應網路效能所需的精確尺寸。對於如何製造小型微環諧振器也存在諸多限制。
最後，調製技術提供的光學效應較弱，需要很長的相互作用區域，以使其對通過的光的有限影響能夠達到顯著水平。
Feldmann 團隊的研究中所取得的進步，有望推動該領域的未來發展，該研究可能會為未來高能效、可擴充套件的光學神經網路加速器的出現打下基礎。
來源：Nature 由新智元編譯 編輯：大明
參考連結：https://www.nature.com/articles/d41586-019-01406-0
論文地址：https://www.nature.com/articles/s41586-019-1157-8