雷軍強推：小米造最強超解析度演算法，現已開源
雷軍表示：這是一篇小米最新出爐的論文，基於彈性搜尋在影象超解析度問題上取得了令人震驚的結果，該模型已開源。
本篇是基於 NAS 的 影象超解析度 的文章，知名學術性自媒體 Paperweekly 在該文公佈後迅速跟進，發表分析稱「屬於目前很火的 AutoML / Neural Architecture Search，論文基於彈性搜尋（巨集觀+微觀）在超解析度問題上取得了非常好的結果。這種架構搜尋在相當的 FLOPS 下生成了多個模型，結果完勝 ECCV 2018 明星模型 CARNM，這應該是截止至 2018 年可比 FLOPS 約束下的 SOTA（涵蓋 ICCV 2017 和 CVPR 2018）。
而達到這樣的效果，論文基於一臺 V100 用了不到 3 天時間。需要指出的是，該項技術具有一定的普適性，理論上可以應用於任何監督學習，值得我們關注和學習。」
作為 計算機視覺 中的經典任務，單幀超解析度（SISR）旨在基於低解析度影象重構出對應的高解析度影象。目前大多數 SISR 演算法都藉助深度學習的非線性擬合能力，並大幅超越了傳統視覺演算法。直觀而言，影象超解析度是一種提煉並擴充套件影象資訊的方法，模型需要根據影象的整體語義資訊重構出欠缺的細節。因此與一般的影象銳化或清晰度調整不同，影象超解析度任務有著更高的要求。
目前已有的超解析度模型大多數都是人工設計的，它們很難進行壓縮或者微調。與此同時，神經架構搜尋已經在分類任務中取得了極好的效果。根據這一趨勢，Chu et al., 2019 提出了使用強化遺傳搜尋方法處理 SISR 任務，該方法優於 VDSR [Kim et al., 2016a] 等流行網路。
在該論文中，作者基於彈性 神經架構搜尋 探討 SISR 任務，提出的方法已經達到與 CARN 和 CARN-M 相當的效果。作者表示他們最主要的貢獻可以總結為以下四點：
-
釋出了幾種快速、準確和輕量級的超解析度架構和模型，它們與最近的當前最優方法效果相當；
-
通過在 cell 粒度上結合巨集觀和微觀空間來提升彈性搜尋能力；
-
將超解析度建模為受限多目標優化問題，並應用混合型控制器來平衡探索（exploration）和利用（exploitation）。
-
生成高質量模型，其可在單次執行中滿足給定約束條件下的各種要求。
此外，研究者還開放了預訓練的模型和評估程式碼，他們在 GitHub 中提供了 FALSR A、B 和 C 三個預訓練模型，同時也提供了一些示例資料集，包括 B100、Set14 和 Urban100 等。釋出的模型基於TensorFlow。如果想要使用預訓練模型看看效果，直接複製 GitHub 專案，並執行以下命令列就行了：
python calculate.py --pb_path ./pretrained_model/FALSR-A.pb --save_path ./result/
-
專案連結：https://github.com/falsr/FALSR
流程架構
與大部分 NAS 方法類似，本研究提出的方法包含三個主要模組：彈性搜尋空間、混合模型生成器和基於不完全訓練的模型評估器。
與 [Lu et al., 2018; Chu et al., 2019] 類似，本研究也使用 NSGA-II [Deb et al., 2002] 來解決多目標問題。但該研究的特點在於，它會使用混合型控制器和基於 cell 的彈性搜尋空間（可支援巨集觀和微觀搜尋）。
該研究在處理超解析度任務時考慮了三個目標：
-
反映模型效能的量化度量指標（PSNR）
-
評估模型計算成本的量化度量指標（mult-adds）
-
引數量
此外，該研究還考慮了以下約束：
-
滿足人類視覺感知的最小 PSNR
-
資源限制下的最大 mult-adds
彈性搜尋空間
本研究的搜尋空間旨在執行微觀和巨集觀搜尋。微觀搜尋用於在每個 cell 的搜尋空間的中選擇有潛力的單元，可看作是特徵提取器。而巨集觀搜尋旨在搜尋不同 cell 的跳接，其作用是結合選定層級的特徵。此外，研究者使用 cell 作為最小搜尋元素有兩個原因：設計靈活性、通用的表徵能力。
通常，超解析度任務可分為三個子步驟：特徵提取、非線性對映和重建。由於大部分深度學習方法主要關注第二部分，因此該研究將其搜尋空間設計用於描述非線性對映，其他部分保持不變。圖 1 展示了該研究中提出的超解析度任務主要基礎結構。一個完整的模型包括預定義的特徵提取器（具備 32 個 3 × 3 卷積核的 2D 卷積）、來自微觀搜尋空間的 n 個單元塊和來自巨集觀搜尋空間的跳接、上取樣和重建。
圖 1：本研究採用的基礎超解析度神經架構（cell 間的箭頭表示跳接）。
圖 2：控制器結構。
與當前最優超解析度方法的對比
該模型訓練完成後，研究者在常用超解析度任務測試資料集上將其與當前最優方法進行了對比（見表 1 和圖 5）。公平起見，本研究僅考慮 FLOPS 相當的模型。因此，太深和太大的模型（如 RDN [Zhang et al., 2018b]、RCAN [Zhang et al., 2018a]）均不包括在內。研究者按照慣例選擇 PSNR 和 SSIM 作為度量標準。對比在兩倍超解析度任務上進行，所有 Mult-Adds 均基於 480 × 480 的輸入衡量。
表 1：在 ×2 超解析度任務上對比本文提出的方法和當前最優方法。
圖 5：FALSR-A、FALSR-B、FALSR-C（鮭紅色）vs. 其他模型（藍色）。
在 FLOPS 相當的模型對比中，本研究提出的 FALSR-A 模型優於 CARN [Ahn et al., 2018]（圖 3）。此外，FALSR-A 模型還在四個資料集和三個目標上超過 DRCN [Kim et al., 2016b] 和 MoreMNAS-A [Chu et al., 2019]。它的 PSNR 和 SSIM 值高於 VDSR [Kim et al., 2016a]、DRRN [Tai et al., 2017a] 等，且 FLOPS 低於後者。
研究者還建立了一個更輕量級的版本——FALSR-B（圖 4），它超越了 CARN-M，這意味著更少 FLOPS 與引數量的情況下，FALSR-B 的得分堪比甚至超越 CARN-M。此外，它的架構更吸引人，連線之間的複雜度介於稀疏和密集連線（dense connection）之間。這表示密集連線不總是資訊傳輸的最優方法。來自更低層的無用特徵可能會給高網路層重建超解析度結果造成麻煩。
論文：Fast, Accurate and Lightweight Super-Resolution with Neural Architecture Search
論文連結：https://arxiv.org/abs/1901.07261
摘要：深度卷積神經網路在超解析度領域取得了驚人的結果。大量研究聚焦於使用更深的網路改進峰值信噪比（PSNR），這在資源有限時非常不友好。因此對影象重建能力和模型簡潔性之間的權衡非常重要。近來的研究努力以手動方式最大化二者之間的平衡，但我們的方法能夠通過神經架構搜尋自動達到同樣的目標。具體來說，我們使用多目標方法處理超解析度問題。此外，基於結合了進化計算和強化學習的混合控制器，我們提出了支援微觀搜尋和巨集觀搜尋的彈性搜尋策略。定量實驗表明：在 FLOPS 相當的情況下，我們的生成模型優於大部分 SOTA 方法。