PyTorch大更新!谷歌出手幫助開發,正式支援TensorBoard | 附5大開源專案
邊策 乾明 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
大家又少了一個用TensorFlow的理由。
在一年一度的開發者大會F8上,Facebook放出PyTorch的1.1版本,直指TensorFlow“腹地”。
不僅宣佈支援TensorFlow的視覺化工具TensorBoard,還正式向工業界邁進,為生產環境改進了PyTorch處理分散式訓練的方式。
而且,根據Facebook介紹,開發這一版本的過程中谷歌還幫了不少忙。
科技媒體TechCrunch評論稱,雖然版本號只從1.0到1.1的變化,但依舊非常重要。
此外,圍繞著打造“開發和協作的AI社群”的願景,Facebook還介紹了5大開源工具。
同時,他們也分享了Facebook在自家程式中應用AI的情況,以及對AI研究的展望。
下面,我們一個個來看~
Pytorch大更新
與2018年12月正式釋出的Pytorch1.0相比,這次釋出的1.1版本提高了效能,並增加了新的模型理解和視覺化工具,來提高可用性,還提供了新的API。
其中,最重要的功能是支援TensorBoard,它是谷歌為TensorFlow打造的視覺化工具,能夠幫助開發人員評估和除錯模型。
根據Facebook介紹,在開發這一功能的時候,他們與谷歌有非常密切的合作。
現在,Pytorch使用一個簡單的“from torch.utils.TensorBoard import SummaryWriter”命令來支援TensorBoard。
其他的更新還有:
-
Jit編譯器:改進了Just-in-time(JIT)編譯。包括各種錯誤的修復以及TorchScript中擴充套件的功能,例如對字典、使用者類和屬性的支援。
-
新API:支援布林張量,更好地支援自定義迴圈神經網路。
-
分散式訓練:改進了常見模型 (如CNN) 的效能,增加了對多裝置模組的支援,包括在仍使用分散式資料並行 (DDP) 的情況下跨GPU分割模型的能力,以及對並非所有引數都用於每次迭代的模組的支援 (如控制流,如自適應SoftMax等) 。
關於本次更新,Pytorch在下面的GitHub文件中進行了詳細的解釋,請收好傳送門:
https://github.com/pytorch/pytorch/releases/tag/v1.1.0
對於這次更新,PyTorch的產品經理Joe Spisa表示,他們並不是要將PyTorch變成金錢,而是希望PyTorch擁有一個社群。
他表示,現在這個社群正開始從一個 以研究為中心的社群 向 生產型的社群 轉變,而且轉變速度也在快速增長。
PyTorch路線圖的下一步是,以更少的位元數執行神經網路,實現更快的CPU和GPU效能,並支援AI從業者建立命名張量維數。
5大開源工具
為了更好地建設AI社群,今年的F8大會上,Facebook還開源了5大工具:Ax、BoTorch、idb、Memscout、Mvfst。
Ax
Ax是一個可訪問的通用自適應實驗平臺,用於管理、部署和自動化實驗。
該平臺利用BoTorch提供的最新進展,使開發人員更容易優化其產品和基礎設施。Ax還降低了貝葉斯優化(Bayesian optimization)、多臂老虎機(multiarmed bandit)和其他複雜實驗技術的門檻,幫助研究人員將想法從研究轉向生產。
地址:https://ax.dev/
BoTorch
BoTorch是PyTorch上的貝葉斯優化軟體庫,為Ax優化模型引數提供支援。
BoTorch將模組化設計和PyTorch的自動微分特性基於蒙特卡羅的提取函式使用相結合,顯著提高了開發人員的效率。
BoTorch具有與任何PyTorch模型整合的能力,在貝葉斯優化和深度學習中實現高度靈活性、便利的研究。
地址:https://botorch.org/
以上兩種工具已經在Facebook內部大規模部署,Facebook用它們改善資訊流推薦和視訊播放。
idb
idb(iOS development bridge)是自動化iOS模擬器和裝置的命令列介面。它提供的簡單原始的API,輕鬆構建複雜的工作流。idb還有客戶機-伺服器架構,可以更容易地在一組機器之間分配工作。
地址:https://github.com/facebook/idb
Memscout
Memscout是一個分析工具,它是jemalloc記憶體分配器的伴侶。Memscout為正在執行的流程的解釋jemalloc統計檔案(JSON格式)原始資料,並突出顯示相關指標。
它會發現分配器的低效率,並提供對流程記憶體分配模式的深入觀察,然後提供可用於快速診斷與記憶體相關的效能問題的統計資訊。
地址:https://github.com/facebookincubator/memscout
Mvfst
Mvfst是QUIC傳輸協議的實現。mvfst的目標是構建最靈活、高效能的傳輸協議,讓應用程式可以適應網際網路上和資料中心內的用例。
它的特性包括流多路複用、0-RTT連線的建立,更好的損失恢復、從頭開始的安全性以及靈活的擁塞控制。
地址:https://github.com/facebookincubator/mvfst
用AI改善使用者體驗
Facebook資訊流可以說是國外的“朋友圈”,裡面有太多的假新聞和有害資訊,扎克伯格也因此受到美國國會質詢。
所以Facebook的AI工具一個重要的用途就是用來識別和處理社交網路上有害的言論、照片和視訊。
一個具體例子是新的“最近鄰”演算法。Facebook用這種演算法發現色情暴力圖片比以前快8.5倍。
另一個例子是開源工具包LASER。Facebook用它來訓練單一模型以理解大量不同語言,而不必為每一種語言使用不同的模型,它可以檢測使用者是否釋出違反社交網路政策的言論。
在視訊中發現有害資訊的難度比照片高出幾個數量級,Facebook的新技術能將其分解為短片段,去掉其中冗餘和不相關的內容。這種更有針對性的分析和訓練使得AI理解視訊更快,更準確。
One More Thing
目前,Facebook正在大力發展自監督學習技術,將未標記資料與少量標記資料結合使用,以提高機器學習的準確性。
所謂的“自監督學習”就是我們說的“無監督學習”。
Facebook首席AI科學家Yann LeCun說,把“自監督”說成“無監督”是具有誤導性的,因為自監督學習比監督學習使用更多的監督訊號,並且遠遠超過強化學習。
自監督學習在自然語言處理方面取得了巨大成功。在LeCun看來,在影象和視訊上使用這項技術未來幾年ML和AI的最大挑戰。
— 完 —
小程式|get更多AI資訊與資源
加入社群
量子位AI社群開始招募啦,量子位社群分:AI討論群、AI+行業群、AI技術群;
歡迎對AI感興趣的同學,在量子位公眾號(QbitAI)對話介面回覆關鍵字“微信群”,獲取入群方式。(技術群與AI+行業群需經過稽核,稽核較嚴,敬請諒解)
量子位 QbitAI · 頭條號簽約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
喜歡就點「在看」吧 !