耗時2.5GPU年訓練12800個模型，谷歌研究人員揭示非耦合表示的奧祕
From:Google AI 編譯:T.R
基於無監督的方式理解高維資料並將資訊濃縮為有用的表示一直是深度學習領域研究的關鍵問題。 其中一種方法是利用非耦合表示(disentangled representations)模型來捕捉場景中獨立變化的特徵。 如果能夠實現對於各種獨立特徵的描述，機器學習系統就可以用於真實環境中的導航，機器人或無人車利用這種方法可以將環境解構成一系列元素，並利用通用的知識去理解先前未見過的場景。雖然非監督解耦方法已被廣泛應用於好奇驅動的探索、抽象推理、視覺概念學習和域適應的強化學習中，但最近進展卻無法讓我們清晰瞭解不同方法的效能和方法的侷限。
為了深入探索這一問題，谷歌的研究人員在ICML2019上發表了一篇大規模深入研究非監督非耦合表示的論文”Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations”， 對近年來絕大多數的非監督解耦表示方法進行探索、利用2.5GPU年的算力在7個數據集上訓練了12000多個模型。 基於大規模的實驗結果，研究人員對這一領域的一些假設產生了質疑，併為解耦學習的未來發展方向給出了建議。與此同時，研究人員還同時釋出了研究中所使用的 程式碼和上萬個預訓練模型，並封裝了disentanglement_lib 供研究者進行實驗復現和更深入的探索。
理解非耦合表示
為了更好地理解非耦合表示的本質，讓我一起來看看下面動圖中每個獨立變化的元素。下面的每一張圖代表了一個可以被編碼到矢量表示中的因子，它可以獨立控制影象中每個語義元素的屬性。例如第一個可以控制地板的顏色，第二個則控制牆的顏色，最後一個則控制圖片的視角。
解耦表示的目標在於建立起一個能夠獨立捕捉這些特徵的模型，並將這些特徵編碼到一個表示向量中。下面的10個小圖展示了基於FactorVAE方法學習十維表示向量的模型，圖中展示 了每一維對於影象對應資訊的捕捉。從各個圖中可以看出模型成功地解耦了地板、牆面的顏色，但是左下角的兩個圖片可以看到物體的顏色和大小的表示卻依然相關沒有解耦。
大規模研究的發現
在直觀地理解了解耦表示之後，讓我們來看看科學家在研究中發現了什麼。這一領域基於變分自編碼器提出了各種各樣的非監督方法來學習非耦合表示，同時給出了許多不同的效能度量方法，但卻缺乏一個大規模的效能測評和對比研究。為此研究人員構建了一個大規模、公平性、可復現的實驗基準，並系統的測試了六種不同的模型(BetaVAE, AnnealedVAE, FactorVAE, DIP-VAE I/II and Beta-TCVAE)和解耦效能度量方法(BetaVAE score, FactorVAE score, MIG, SAP, Modularity and DCI Disentanglement)，在7個數據集上進行了12800個模型的訓練後，研究人員們有了顛覆過去的發現：
首先，是非監督學習的方式。研究人員在大量的實驗後發現沒有可靠的證據表明模型可以通過無監督的方式學習到有效的解耦表示，隨機種子和超引數對於結構的影響甚至超過了模型的選擇。換句話說，即使你訓練的大量模型中有部分是解耦的，但這些解耦表示在不基於基準標籤的情況下是無從確認和識別的。此外好的超引數在不同的資料集上並不一致，這意味著沒有歸納偏置（inductive biases）是無法實現非監督解耦學習的（需要把對資料集的假設考慮進模型中）。
對於實驗中評測的模型和資料集，研究人員表示無法驗證解耦對於downstream tasks任務有利的假設(這一假設認為基於解耦表示可以利用更少的標籤來進行學習)。
下圖展示了研究中的一些發現，可以看到隨機種子在執行中的影響超過了模型的選擇(左)和正則化（右）的強度（更強的正則化並沒有帶來更多的解耦效能）。這意味著很差超引數作用下的好模型也許比很好超引數作用下的壞模型要好得多。
未來研究方向
基於這些全新的發現和研究結果，研究人員為解耦表示領域提出了四個可能的方向：
1.在沒有歸納偏置的條件下給出非監督解耦表示學習的理論結果是不可能的，未來的研究應該更多地集中於歸納偏置的研究以及隱式和顯示監督在學習中所扮演的角色；
2.為橫跨多資料集的非監督模型尋找一個有效的歸納偏置將會成為關鍵的開放問題；
3.應該強調解耦學習在各個特定領域所帶來的實際應用價值，潛在的應用方向包括機器人、抽象推理和公平性等；
4.在各種多樣性資料集上的實驗應該保證可重複性。
程式碼和工具包
為了讓其他研究人員更好的復現結構，論文同時還發布了 disentanglement_lib工具包，其中包含了實驗所需的模型、度量、訓練、預測以及視覺化程式碼工具。可以在命令列中用不到四行程式碼就能復現是論文中所提到的模型，也可以方便地改造來驗證新的假設。最後 disentanglement_lib庫易於拓展和整合，易於建立新的模型，並用公平的可復現的比較進行檢驗。
由於復現所有的模型訓練需要2.5GPU年的算力，所以研究人員同時開放了論文中提到的一萬多個預訓練模型可以配合前述工具使用。
如果想要使用這個工具可以在這裡找到原始碼：
https://github.com/google-research/disentanglement_lib
其中包含了以下內容：
模型: BetaVAE, FactorVAE, BetaTCVAE, DIP-VAE
度量: BetaVAE score, FactorVAE score, Mutual Information Gap, SAP score, DCI, MCE
資料集: dSprites, Color/Noisy/Scream-dSprites, SmallNORB, Cars3D, and Shapes3D
預訓練模型： 10800 pretrained disentanglement models
依賴包： TensorFlow, Scipy, Numpy, Scikit-Learn, TFHub and Gin
git clone https://github.com/google-research/disentanglement_lib.git#下載git cd disentanglement_lib#轉到原始碼目錄 pip install .[tf_gpu]#安裝依賴檔案 dlib_tests#驗證安裝
隨後下載對應的資料檔案：
dlib_download_data#在.bashrc寫入路徑 export DISENTANGLEMENT_LIB_DATA=<path to the data directory>
？
是0-12599間的模型序號：
dlib_reproduce --model_num=<?>
進行評測：
dlib_aggregate_results
相信這篇文章的研究結果和程式碼工具將為接下來的研究提供更為明確的方向和便捷的途徑，促進非耦合表示學習領域的發展。
ref:
https://github.com/google-research/disentanglement_libPaper: https://arxiv.org/abs/1811.12359
3Dshapes: https://github.com/deepmind/3d-shapes
Inductive_bias： https://en.wikipedia.org/wiki/Inductive_bias
http://cvlab.cse.msu.edu/project-dr-gan.html
https://blog.csdn.net/qq_31239495/article/details/82659327
https://www.cnblogs.com/SuperLab/p/9837664.html
https://www.sohu.com/a/145751637_741733
https://dribbble.com/shots/5779059-Keep-Your-Family-Connected-With-Todoist
https://dribbble.com/shots/5572411-Design-Genome-project-Intuit
-The End-
將門 是一家 以專注於 發掘、加速及投資技術驅動型創業公司 的新型 創投機構 ，旗下涵蓋 將門創新服務、將門技術社群以及將門創投基金。將門成立於2015年底，創始團隊由 微軟創投在中國的創始團隊 原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。
將門創新服務 專注於使創新的技術落地於真正的應用場景，啟用和實現全新的商業價值，服務於行業領先企業和技術創新型創業公司。
將門技術社群 專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容，使創新成為持續的核心競爭力。
將門創投基金 專注於投資通過技術創新啟用商業場景，實現商業價值的初創企業，關注技術領域包括 機器智慧、物聯網、自然人機互動、企業計算。 在三年的時間裡，將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、 寬拓科技、 杉數科技、迪英加科技等數十傢俱有高成長潛力的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務， 歡迎傳送或者推薦專案給我“門”: [email protected]
點選右上角，把文章分享到朋友圈
點選“ ❀在看 ”，讓更多朋友們看到吧~