拒絕日夜調參：超引數搜尋演算法一覽

機器學習訓練模型的過程中自然少不了調參，許多機器學習工程師都戲稱自己為「調參師」，其重要性不言而喻。

模型的引數可分成兩類：引數與超引數，前者是模型通過自身的訓練學習得到的引數資料；後者則需要通過自身經驗設定，以提高模型訓練的效果。如下圖中紅色框內的隱層個數、每個隱層神經元個數、採用什麼啟用函式及學習演算法、學習率以及正則化係數等都屬於超引數。

一個模型的落地流程如圖所示：

• 收集日誌，並從日誌中抽象出特徵，再把特徵餵給模型，模型在初始的超引數指導下學習第一類引數；

• 通過離線效果指標評估超引數的設定是否合適；

• 若不合適則繼續不斷調整。

在這個調參過程中主要有 2 個難點：

1.引數空間大，嘗試成本高

在工業界往往資料規模巨大、模型複雜，計算成本很高，並且每個型別的超引數都有眾多選擇。

2.目標模型是黑盒

在搜尋超引數的過程中只能看到模型的輸入和輸出，無法獲取模型內部資訊（如梯度等），亦無法直接對最優超引數組合建立目標函式進行優化。

超引數的選擇對模型最終的展現效果有很大影響，針對以上難點下文將介紹如何通過演算法自動調參，業界常用的搜尋超引數方法主要有網格搜尋、隨機搜尋和貝葉斯優化。

1#網格搜尋Grid Search

網格搜尋是指在所有候選的引數選擇中，通過迴圈遍歷嘗試每一種可能性，表現最好的引數就是最終的結果。

舉個例子，上圖中有兩類超引數，每類超引數有 3 個待探索的值，對它們進行笛卡爾積後得到 9 個超引數組合，通過網格搜尋使用每種組合來訓練模型，並在驗證集上挑選出最好的超引數。如圖所示，這種方法往往根據不同種類列出表格，並在表格內迴圈遍歷搜尋，因此稱為網格搜尋。

網格搜尋演算法思路及實現方式都很簡單，但經過笛卡爾積組合後會擴大搜索空間，並且在存在某種不重要的超引數的情況下，網格搜尋會浪費大量的時間及空間做無用功，因此它只適用於超引數數量小的情況。

2# 隨機搜尋 Random Search

原文地址：http://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf

針對網格搜尋的不足，Bengio 等人提出了隨機搜尋方法。隨機搜尋首先為每類超引數定義一個邊緣分佈，通常取均勻分佈，然後在這些引數上取樣進行搜尋。

隨機搜尋雖然有隨機因素導致搜尋結果可能特別差，但是也可能效果特別好。總體來說效率比網格搜尋更高，但是不保證一定能找到比較好的超引數。

3# 貝葉斯優化 Bayesian Optimization

舉個簡單的例子，假設關於模型最優超引數組合的函式是一維曲線，由於它是一個黑盒無法直到具體的函式形式，但是可以輸入某些值並得到輸出。

我們隨機嘗試了 4 個超引數，並得到了對應的效能指標，如下圖所示。

那麼問題來了， 最優超引數可能在哪裡？下一個待探索的超引數是哪個？ 我猜測最優值可能在 0.4 這裡，函式的真實形式可能長這樣子的:

*直方圖記錄的是每次猜測的最小值的位置

而每個人猜測的是不一樣的，因此每次生成的函式也不同：

可以看到大部分都認為最優超引數是在第 3 個點附近， 由於開始時在右側採點的離線指標是最差的，所以先驗認為最優超引數在這裡的可能性不大。接著把這個過程取極限，就會得到一個關於最優超引數的概率分佈。

假設每個分佈都是高斯分佈，那麼得到的是一個高斯過程，其中高斯分佈的均值為 0，方差大概為 5。

這樣無論我們猜測最優超引數是取哪個值，總能得到一個關於超引數好壞的描述，即是均值和方差，這裡實際上我們用一個無限維的高斯過程來模擬黑盒的超引數搜尋的目標函式形式。

總結來說，超引數搜尋問題其實是一個黑盒優化問題，貝葉斯優化通過無限維的高斯過程來描述黑盒，在這個高斯過程中可以得到每一組輸入超引數的均值和方差。

得到了均值和方差則解決了上文提到的第一個問題：「最優超引數可能在哪裡？」，那麼下一個待探索的超引數是哪個？這其實是一個 E&E 問題（探索與利用問題），是穩妥地在目前已有的最大值附近搜尋還是在不確定性大的地方搜尋？後者效果可能很差，但也可能有意想不到的收穫。

而 Acquisition function 正是平衡 E&E 問題的方式，下面我們依次介紹 3 種常見的做法。

1# Upper (lower) Confidence Band

UCB 方法用線性加權的方式直接對 E&E 取樣進行平衡，第一項是當前最好的超引數值，在當前最好的結果附近穩妥的搜尋；第二項是方差，表示去探索更未知的空間，beta引數用來控制力度，這種方法簡單有效。

2# Maximum Probability of Improvement

MPI 方法的目的是下一個待搜尋的值能最大限度提升概率，假設當前最好的是 y_best, 那麼 MPI 表示的是下一個待搜尋的點能比 y_best 小的概率，這種方法容易陷入在區域性最小值附近。

3# Expected Improvement

該種方法描述的是下一個待搜尋的點能比當前最好的值更好的期望，因為是高斯過程，這裡的後驗概率是高斯形式，積分有閉式解，實現起來較為簡單，因此這種方法也較為常用。

:chestnut:舉個例子

如上方圖所示，虛線代表關於最優超引數的真實函式形式（但實際上它是個黑盒，不知道其具體形式），實線代表當前最好的超參所在位置，兩條淺灰線表示的是當前點的方差。

下方圖表示已知的和待探索超引數的 Expected Improvement，此時很多地方都有希望能取得比當前最好值更好的超引數，主要需要探索，我們首先選擇 0.0 點作為下一個待探索的超引數。

可以看到，此時 0.0 點的方差變為 0。繼續尋找下一個待探索的超引數，選擇 1.0。

如圖，1.0 點的方差變為 0，經過兩次探索我們注意到不需要再探索右側區域，因為我們在右邊得到的超引數效果比左邊的差。繼續選擇下一個超引數位置，選擇 0.25 點左右的位置。

按照 EI 方法，依次尋找下一個待探索的超引數，這次我們選擇的超引數位置大概在 0.7 點。

選擇 0.7 點的超引數效果比之前選擇的更好，此時 Expected Improvement acquision 建議應該加大在 0.7 附近搜尋的力度。

經過幾輪探索之後發現最優超引數應該在 0.8 點附近。

通過以上案例可以看出貝葉斯優化是通過 acquisition function 平衡均值和方差，做 E&E 問題探索下一個可能的最優超引數。

最後通過三張動圖概括網格搜尋、隨機搜尋和貝葉斯優化。

網格搜尋

隨機搜尋

貝葉斯優化

*本文部分圖源 ：

http://gpss.cc/gpmc17/slides/LancasterMasterclass_1.pdf

ofollow,noindex">美團技術團隊

在美團，我們信仰耐心和堅持的力量，願意持續去做一些正確、有積累、可能表面看上去不那麼重要實則非常關鍵的事情。

相關資料

推薦文章