【2018年】11種深度學習框架影響力對比
作者：Jeff Hale
編譯：weakish
【編者按】Jeff Hale根據網上招聘、調研報告、網路搜尋、論文、教程、GitHub等資料，評估了11種深度學習框架的影響力。
現在資料科學領域最熱門的方向仍舊是深度學習。相應地，深度學習框架也處於飛速變革之中。現在最流行的框架，除Theano外，5年前都不存在。
我想蒐集一些哪個框架更值得關注的證據，所以我搞了這個影響力評分。我使用了7個不同類別的11個數據源，以評估框架的使用量、興趣、流行度。接著我對這些資料進行加權組合，得到了本文的結果。具體的程式碼可以在Kaggle Kernel上看到：discdiver/deep-learning-framework-power-scores-2018
2018年9月20日更新：應眾多讀者要求，我擴大了框架的評估範圍，加入了Caffe、Deeplearning4J、Caffe2、Chainer。現在的評測包括了KDNuggets使用調研中所有報告使用率在1%以上的框架。
2018年9月21日更新：我改進了一些測度的方法。
不多囉嗦了，下面是深度學習框架的影響力評分：
毫無疑問，TensorFlow位居第一。不過我有一些意料之外的發現，詳情見下。
框架
評測的所有框架都是開源的，除了其中一個框架外都提供了Python介面，有些框架提供了R或其他語言的介面。
TensorFlow是毫無爭議的贏家。GitHub上最熱，谷歌搜尋最多，Medium文章、亞馬遜書籍、ArXiv論文最多。使用TensorFlow的開發者最多，大多數網上招聘的工作描述中也提到了它。TensorFlow背後站著Google。
Keras擁有“為人類而不是機器設計的API”。幾乎各項評估中，它都是第二流行的框架。Keras以TensorFlow、Theano或CNTK為底層引擎。如果你是深度學習的新手，建議從Keras開始。
總體而言，PyTorch是第三流行的框架，也是第二流行的獨立框架。它比TensorFlow要年輕，流行度的增速十分迅猛。它也支援TensorFlow尚不支援的一些定製。PyTorch背後站著的是Facebook。
Caffe是第四流行的框架。它差不多快5歲了。相對而言，某些僱主還要求熟悉Caffe，一些學術論文也還用Caffe，但最近使用Caffe的人不多。
Theano是蒙特利爾大學2007年研發的，也是最古老的有顯著影響力的Python深度學習框架。它的流行度降了一大截，主要開發者也宣佈不會再發布加入新功能的大版本了。不過，目前仍有一些更新。Theano仍然是排名第五的框架。
亞馬遜使用Apache孵化的MXNET。它是第六流行的深度學習庫。
ofollow,noindex">CNTK 是微軟的認知工具集。它讓我想起了微軟其他很多產品，試圖和谷歌、Facebook提供的工具競爭，但沒贏得多少使用。
Deeplearning4J，也稱為DL4J，配套Java語言使用。它是唯一不提供Python介面的準流行框架。不過，你可以匯入用Keras寫的模型。這也是唯一一個兩個不同的搜尋項（Deeplearning4J和DL4J）偶爾返回不同結果的框架。我在每項測度中使用了較高的數字。由於這個框架的評分相當低，因此這並沒有帶來什麼實質性的改變。
Caffe2是另一個Facebook開源產品。它基於Caffe構建，現在是PyTorch專案的一部分（同一GitHub倉庫）。由於現在Caffe2沒有自己的程式碼倉庫，我使用了舊倉庫的GitHub資料。
Chainer是由日本公司Preferred Networks開發的框架。它有一小批使用者。
FastAI基於PyTorch構建。它的API借鑑了Keras，只需很少的程式碼（比Keras還要少）就可以得到強力的結果。目前而言，FastAI屬於前沿框架，目前正處於為預計2018年10月釋出的1.0版本重寫程式碼的階段。FastAI的作者Jeremy Howard是Kaggle的主席。他曾經寫過一篇 Introducing Pytorch for fast.ai ，討論為何FastAI從使用Keras轉向建立自己的框架。
現在還沒有什麼職位需要用這個框架，本身使用也不廣泛。然而，由於FastAI的免費線上課程很流行，自然而然就有不少使用者。這個框架強大易用，因此可能會很快普及。
標準
我選擇了以下7個類別來評估深度學習框架的流行度和關注度。
- 線上招聘描述
- KDnuggets使用調研
- 谷歌搜尋量
- Medium文章
- 亞馬遜資料
- ArXiv論文
- GitHub熱度
資料採集自2018年9月16日至2018年9月21日，源資料可以通過谷歌試算表訪問： https:// docs.google.com/spreads heets/d/1mYfHMZfuXGpZ0ggBVDot3SJMU-VsCsEGceEL8xd1QBo/edit?usp=sharing
我使用了Python的pandas庫探索流行度，並使用plotly庫進行視覺化。如果你想要檢視可互動的plotly圖表，請訪問我在文章開頭提到過的Kaggle Kernel。
線上招聘描述
現在的工作市場上哪種深度學習庫需求更高？我搜集了LinkedIn、Indeed、Simply Hired、Monster、Angel List的上的資料。
毫無疑問，TensorFlow是這方面的贏家。如果你想找一份深度學習的工作，你需要學一下TensorFlow。
我通過“machine learning”（機器學習）加庫名的方式搜尋。比如，“machine learning TensorFlow”。我測試了若干搜尋方法，這個方法可以得到相關性最高的結果。
之所以額外加上一個搜尋詞，是因為有些框架的名字可能有歧義，比如Caffe可能有多種含義。
使用量
KDnuggets是一個流行的資料科學網站。它在調研軟體使用情況的時候提問：
你在過去12個月的真實專案上用了什麼分析、大資料、資料科學、機器學習軟體？
令人意外的是，Keras的使用量很高——差不多快趕上TensorFlow了。有意思，美國的僱主們熱衷找具備TensorFlow技術的人，而Keras的使用率差不多一樣高。
KDnuggets有好幾年的資料。儘管我在分析中只使用了2018年的資料，我需要指出，2017年後，Caffe、Theano、MXNET、CNTK的使用量下降了。
谷歌搜尋熱度
最大搜索引擎上的網路搜尋量是一項很好的評估流行度的指標。我查看了過去一年穀歌趨勢的搜尋歷史。谷歌沒有提供搜尋量的絕對值，不過它提供了不同搜尋項的對比圖形。
Keras和TensorFlow的差距不大，PyTorch位居第三，其他框架的搜尋量相對較低。
現在，讓我們簡單看下搜尋量隨時間的改變趨勢，這能提供歷史上下文。Google自帶兩年搜尋趨勢變化的圖表。
過去一年裡，TensorFlow的搜尋量沒什麼顯著增長，但Keras和PyTorch的搜尋量明顯增加了。谷歌趨勢只允許我們同時比較五個搜尋項，所以其他框架由於相對TensorFlow搜尋量太低，儘管我也做了對比，但它們在其他圖表上實在沒法顯示出什麼趨勢。
發表
我納入了多種發表型別。讓我們先看下Medium文章。
Medium文章
Medium上有很多流行的資料科學文章和指南。
如上圖所示，Keras超過了TensorFlow，而相比其他評估項，FastAI的表現很突出。
我想這可能是因為Keras和FastAI對初學者更友好。新的深度學習從業者對這兩個框架的興趣較大，而Medium上有大量教程。
我使用了谷歌的站內搜尋，限定時間為12個月內，使用框架名加“learning”（學習）作為關鍵詞——同樣是為了避免“caffe”帶來的歧義。相比其他關鍵詞組合，這導致的搜尋結果下降最少。
現在讓我們看下亞馬遜上有關這些框架的書籍數量。
亞馬遜書籍
我在 http:// Amazon.com 的圖書 > 計算機技術分類下搜尋每個深度學習框架的名稱。
TensorFlow又獲勝了。MXNET的書比期望的多，而Theano的書比期望的少。相對其流行度而言，PyTorch的書不多，這可能是因為這個框架比較年輕。注意這一測量偏向老框架，因為書的出版週期比較長。
ArXiv論文
機器學習方面的學術論文，最常發表在ArXiv上。我同樣使用谷歌站內搜尋，限定時間為12個月內。
TensorFlow還是第一。注意，相比學術論文而言，Keras在Meidum和亞馬遜上要流行得多。PyTorch在這一類別排名第二，顯示它在實現新想法方面的靈活性。Caffe的評分也相對較好。
GitHub熱度
GitHub熱度是另一項框架流行度的指標。我為收藏、分叉、關注、貢獻者分別製作了圖表，因為這些資料更適合分別呈現，而不是混在一起。
TensorFlow也是最流行的，有大量活躍使用者。考慮到FastAI甚至還不滿一歲，它在GitHub上的熱度相當不錯。有意思的是，相比另外三個測度，不同框架的貢獻者數量總體而言比較接近。
收集、分析了所有資料後，是時候將它們整合成一個測度了。
影響力評分過程
我是這樣得出影響力評分的：
- 將所有特徵的尺度縮放至0到1
- 聚合線上招聘描述和GitHub熱度的子類別
- 根據下圖的權重對類別進行加權
如上圖所示，線上招聘描述、KDnuggets一組，網路搜尋、發表、GitHub熱度一組，平分權重。這樣劃分看起來是最合適的，平衡了多種類別。
4.為了便於檢視，各項加權評分乘以100
5.累加每個框架的各項評分以得到單一的影響力評分
下為各個類別的統計資料：
下為加權和聚合子類別後的各項評分：
這就得到了文章開頭的圖表：
100是最高可能得分，意味著在所有類別都是第一。TensorFlow幾乎達到了100分，這並不令人意外，畢竟它在每個類別中都是第一（或者幾乎是第一）。Keras毫無爭議地位居第二。
我再重複一遍，如果你想要以可互動的方式檢視圖表，或者分叉Jupyter Notebook，請訪問我開頭提到的Kaggle Kernel。
未來
目前為止，TensorFlow的領先地位難以動搖。短期內，它應該會繼續統治深度學習領域。不過，考慮到深度學習世界的飛速變革，長期來看，TensorFlow的領先可能發生變化。
時間會告訴我們，PyTorch是否能超越TensorFlow，就像React超越Angular一樣。這兩對框架還挺適合類比的。PyTorch和React都是由Facebook支撐的靈活度很高的框架，通常認為要比谷歌支撐的競爭者更容易使用。
FastAI能獲取課程之外的使用者嗎？它有一大堆自帶的學生使用者，比Keras對初學者更友好的API。
你覺得未來會怎麼樣？請留言分享你的想法。
給學習者的建議
如果你掌握了Python、numpy、pandas、sklearn、matplotlib技能，考慮學習一個深度學習框架，我建議你從Keras開始。它的使用者數量很大，也受到僱主的認可，Medium上也有很多文章可以參考，API也很容易使用。
如果你已經掌握了Keras，決定下一個要學習的框架不太容易。我建議你選擇TensorFlow或者PyTorch，深入學習，以做出很棒的深度學習模型。
如果你想要熟練掌握需求量最大的框架，你應該選擇TensorFlow。但研究人員很喜歡用PyTorch，因為它既易用又靈活。Quora上有一個關於選TensorFlow還是PyTorch的問題： https://www. quora.com/Should-I-go-f or-TensorFlow-or-PyTorch
如果你具備了這些框架的經驗，我建議你留意下FastAI。如果你想學習基礎和高階的深度學習技能，可以看下FastAI的免費線上課程。FastAI 1.0許諾讓你可以很容易地實現最新的深度學習策略，並快速迭代。
不管你選什麼框架，我希望你現在對哪個深度學習框架需求最高，使用最多，文章最多有所瞭解。