基於深度學習的遙感影象配準
本文基於2018年發表於期刊 ISPRS Journal of Photogrammetry and Remote Sensing （IF 5.994）上的論文“A deep learning framework for remote sensing image registration [1]”，王爽，權豆，樑雪峰，寧夢丹，郭巖河，焦李成。
1.背景
隨著對地觀測技術的不斷髮展與更新，獲取遙感影象的感測器也越來越多。為了分析某一場景，我們有時需要把 不同時期的、不同感測器的、甚至於不同視角的 遙感影象融合在一起處理，因此需要 對遙感影象進行配準，將多幅遙感影象進行匹配和疊加。
2.問題描述
傳統的基於特徵的影象配準方法依賴於人工設計的特徵，其中最具代表性的是 SIFT 特徵，具有旋轉不變性、平移不變性、尺度不變性等特性。但是，由於遙感影象成像機理複雜多樣， SIFT 特徵的不變性特性在遙感影象中受到影響，導致遙感影象無法精確配準。如圖 1 所示，我們從待配準影象中隨機選取了 10 對匹配的 SIFT 特徵點，箭頭指示的方向為特徵點的主方向，很明顯可以看出這些匹配點的主方向不一致。因此， SIFT 特徵不再具有旋轉不變性。
圖 1
3.方法動機
與一般的自然影象不同，遙感影象的獲取方式多種多樣，且影象內容難理解、目標特徵不明顯。人工設計特徵的方法在遙感影象中適用範圍較窄，無法預知不可控的遙感影象變化，不能提取到具有判別性的特徵。
同時，在傳統的方法中，特徵提取和特徵匹配之間沒有信息的反饋，使得特徵提取運算元不能根據待配準的影象進行自適應的調節。因此，我們提出基於深度學習的遙感影象配準，將特徵提取和特徵匹配統一在一個端到端的框架中，直接學習影象塊對到匹配標籤的對映函式。
但是，深度神經網路強大的學習能力需要大量有標記的訓練樣本的支援。由於遙感影象的獲取非常昂貴，我們很難得到足夠多的訓練樣本，且手工標記樣本的代價較大。因此，我們提出基於自學習的遙感影象配準方法，從待配準的遙感影象中自動獲取大量的有標記的訓練樣本。
4. 方法介紹
本文提出的深度學習框架如圖 2 所示。與傳統的基於特徵的影象配準方法不同，我們將特徵提取與特徵匹配聯合在深度學習框架中，直接學習影象塊對與匹配標籤之間的關係。網路的輸入是兩個影象塊對，輸出為其對應的匹配標籤。然後，利用訓練好的深度神經網路預測兩個待配準影象組成的影象塊對的匹配標籤。
圖2. 本文的方法框架圖，主要包括兩個部分：深度神經網路的訓練和影象配準。首先，基於深度神經網路學習影象塊對到匹配標籤的對映；然後，利用訓練好的神經網路預測待配準影象中影象塊對的匹配關係；最後，剔除錯誤的匹配點對，計算待配準影象之間的變換矩陣，配準影象。
圖3. 自學習策略示意圖，從待配準的遙感影象和其變換影象中獲取大量的匹配和不匹配的訓練樣本。
為了獲取大量有標記的訓練樣本，我們提出了基於自學習的遙感影象配準方法，學習遙感影象和其變換後圖像之間的對映關係。如圖 3 所示，從待配準的遙感影象中自動獲取大量的有標記的訓練樣本。
我們以待配準的影象 I 1 為例，假設有 K 個變換矩陣，將影象 I 1 進行相應的幾何變換，可以得到 K 個變換後的影象。在變換後的影象中，與影象 I 1 中的特徵點對應的點組成匹配點對，不對應的點組成不匹配點對。我們可以看出，不匹配的點對數量遠遠大於匹配的點對。為了保持資料平衡，我們通過隨機取樣的方式，使正樣本與負樣本的數量相等。
基於自學習的方法具有以下優勢： 1. 獲取大量的訓練樣本； 2. 已知訓練樣本的匹配標籤； 3. 通過學習不同的幾何變換影象，可以學習到具有旋轉不變性、平移不變性、尺度不變性的特徵。
另外，對於每一對待配準的影象來說，如果都從頭開始採用自學習的方法進行訓練，時間代價較大。我們提出利用遷移學習的思想，將訓練好的網路用於其它遙感影象的配準，可以極大地減小時間代價，且保持很好的配準效果。
由於影象的區域性相似性，網路預測的匹配點對存在誤匹配現象，我們利用相似性約束和 RANSAC 剔除錯誤的匹配點對。最後，根據匹配的點對計算待配準影象之間的變換矩陣，配準影象。為了進一步提高配準精度，我們對得到的匹配點對進行精調，將匹配誤差較大的點對剔除，其匹配誤差來源於匹配點定位的精準度。
5. 實驗結果
（ 1 ）配準結果分析
我們基於不同感測器的遙感影象測試了方法的有效性。在 Mexico 影象中，待配準的影象之間存在很大的影象內容變化。在 Brazil 影象中，待配準的影象具有較大的外觀變化和幾何變換。在黃河入海口影象中，影象內容複雜多樣，且幾何變換較大。因此，這些遙感影象配準具有非常大的挑戰性。
從圖 4— 圖 6 可以看出，我們方法的視覺配準效果非常好，對不同感測器獲取的遙感影象都可以進行精確配準。同時，表 1— 表 3 表明，我們的方法配準誤差最小，均可以達到亞畫素級的誤差。特別是在黃河入海口影象中，現有的方法配準誤差非常大甚至無法配準，而我們的方法具有非常明顯的優勢。
圖4. Mexico 影象配準結果（ a ） 2000 年 4 月獲取的 Landsat-7 遙感衛星影象（ b ） 2002 年 5 月獲取的 Landsat-7 遙感衛星影象（ c ） Mexico 影象配準棋盤圖。在待配準的兩幅遙感影象中，影象內容發生了很大的變化。
表 1. Mexico 影象配準定量對比結果
圖 5. Brazil 影象配準結果（ a ） 1994 年 6 月獲取的 Landsat Thematic Mapper 影象（ b ） 1995 年 8 月獲取的 SPOT 影象（ c ） Brazil 影象配準棋盤圖。在待配準的兩幅遙感影象中，外觀變化和幾何變化較大。
表 2. Brazil 影象配準定量對比結果
圖 6. 黃河入海口影象配準結果（ a ） 2008 年 6 月獲取的 Radarsat-2 遙感影象（ b ） 2009 年 6 月獲取的 Radarsat-2 遙感影象（ c ）黃河入海口影象配準棋盤圖。在待配準的遙感影象中，影象內容複雜，幾何變化較大。
表 3. 黃河入海口影象配準定量對比結果
（ 2 ）特徵的可分性分析
我們利用 SVM 度量不同層特徵的可分性，結果如表 4 所示。隨著網路深度的增加，特徵的可分性越來越強。
表 4. 基於 SVM 度量不同層特徵的可分性
為了進一步分析深度神經網路的特徵，我們選取了啟用值大於 0.9 的神經元作為強響應神經元 VSR ，其對應啟用該神經元的樣本為其支援樣本。如果 VSR 的支援樣本大多數為正樣本，我們認為該 VSR 屬於 1-VSR ；如果 VSR 的支援樣本大多數為負樣本，我們認為該 VSR 屬於 0-VSR ；否則，該 VSR 屬於共有的 C-VSR 。
在網路的底層，大部分的 VSR 都是 C-VSR ，提取到的特徵主要包括邊緣、角點、紋理等，其對應的支援樣本如圖 7 所示。
在網路的高層， VSR 可以學習到影象中特殊的模式，如圖 8 所示。同時，網路高層的特徵包含類別相關資訊，大部分的 VSR 為 1-VSR 或 0-VSR 。如圖 9 所示是隨機選取的 1-VSR 的支援樣本，均為匹配的樣本。圖 10 是 0-VSR 的支援樣本，均為不匹配的樣本。
因此，隨著網路深度的不斷增加，特徵的可分性不斷增強。神經網路的底層主要學習邊緣、角點、紋理等低階特徵，網路的高層可以學習到與目標任務相關的高階特徵。
圖 7. 隨機選取的底層 VSR 的支援樣本，主要包含豐富的邊緣、角點、紋理特徵。
圖 8. 網路高層中 9 個 VSR 的支援樣本，表明高層神經元可以學習到影象的特殊模式。
圖 9. 隨機選取高層中 1-VSR 對應的支援樣本，均為匹配的影象塊對。
圖 10. 隨機選取高層中 0-VSR 對應的支援樣本，均為不匹配的影象塊對。
6.結束語
本文提出了基於深度學習的遙感影象配準框架，可以直接學習影象塊對到匹配標籤的對映關係。同時，為了解決遙感影象中的小樣本問題，我們提出了自學習的策略，利用待配準的遙感影象和其變換影象產生大量的有標記訓練樣本。實驗結果表明，我們的方法適用範圍較廣，可以精確配準不同型別的、且具有挑戰性的遙感影象。另外，我們詳細分析了深度神經網路不同層特徵的可分性。實驗表明，底層特徵的可分性較差，但是可以提取到影象的邊緣，角點、紋理等特徵；高層特徵的可分性較強，可以學習到影象的特殊模式，包含與目標類別相關的資訊。