2D AR演算法新突破，亮風臺提出基於約束置信度的魯棒跟蹤演算法CCM

亮風臺 來源

AR 公司亮風臺一直在向前推進 AR 的技術邊界，近日訊息，該公司在 2D AR 跟蹤方面取得了新突破，其研發人員提出的基於約束置信度的魯棒跟蹤演算法（CCM），提高了在區域性遮擋、光照變化和運動模糊等各種因素干擾情況下的魯棒性，並在 UCSB 和 TMT 兩個國際評測集中重新整理了最好成績。目前，這一成果已經在機器人領域頂級會議 ICRA 2018 上發表。ICRA 是機器人領域三大頂級會議之一（其它兩個為 IROS 和 RSS），AR 跟蹤的很多經典工作（例如 ESM 跟蹤演算法）都曾在 ICRA 和 IROS 上發表。

在區域性遮擋、運動模糊和照明改變條件下的 CCM 演算法效果示例（只顯示在目標周圍放大的區域以便展示）

據瞭解，這兩年亮風臺依然有不少工作在針對 2D AR 的演算法優化，在2017年的 ICRA 上發表了針對光照變化的基於梯度方向的AR跟蹤演算法；同年提出的基於圖匹配的跟蹤演算法利用圖結構來處理目標物體內部的空間關聯，從而實現在強幹擾的準確平面物體跟蹤，該工作已被人工智慧領域國際頂級期刊《PAMI》（IEEE 模式分析和機器智慧彙刊）錄用。其它在 CVPR、ICCV、ECCV、ICRA、ISMAR、PAMI 等 AI、CV、AR 相關領域頂級期刊會議上公開發表的研究成果涉及影象語義識別、人臉影象分析、手勢識別、AR 場景建模定位、超圖匹配，視覺顯著性等方面。

基於約束置信度的魯棒跟蹤演算法（CCM）

跟蹤平面物體，例如 2D 標記，通常是相機定位和場景配準的重要步驟。在過去的幾十年中，大量的研究致力於視覺跟蹤問題，平面目標跟蹤的流行方法可以大致分為基於關鍵點的方法和基於模板的方法。基於模板的方法直接利用畫素的外觀而不提取特徵，並基於牛頓法或其變體優化模板與捕獲影象之間的相似性度量，以確定平面的姿態。

不同與傳統的基於模板的跟蹤方法，CCM（ Constrained Confidence Matching）根據測量噪聲對每個畫素分配不同的匹配係數，而不是在計算運動引數時對模板中的每個畫素進行相同的處理。在此基礎上，為了進一步提高對光照變化和重運動模糊的魯棒性，亮風臺研發人員還提出了一種魯棒卡爾曼濾波器，它採用新的控制輸入模型來處理物體的外觀變化。

給定目標的初始影象或位置，新方法（即 CCM）自動從視訊中跟蹤定位目標所在位置。

第一步：從視訊第一幀中提取目標區域作為模板T。

第二步：從視訊讀取下一幀影象  I _t ;。

第三步：在影象  I _t  中跟蹤匹配目標。

傳統的基於模板的演算法通常在計算運動引數時對模板中的每個畫素進行相同處理，因此對一些外在噪聲(特別是對於遮擋)特別敏感。為了解決這個問題，不同於傳統模板跟蹤方法，亮風臺研發人員提出一個“置信匹配”策略，在計算運動引數時為每個畫素分配不同的匹配置信度。直觀來看，將低置信度分配給被噪聲干擾的畫素。考慮到匹配的置信度，CCM 的模板跟蹤問題擴充套件為如下形式：

其中 C  表示置信圖，它的每個元素 C ( x ) 記錄畫素 x  的匹配置信度的， b  表示幾何變化的容忍度。新增約束的目的是禁止連續幀之間的大幅度運動跳躍。

基於“置信匹配”的目標跟蹤匹配過程可以分為 置信圖計算、遮擋圖計算、最優匹配求解 幾個子步驟。

(1)  置信圖計算

對於每個畫素 x ，置信度圖  C  被均勻初始化，並且根據之前觀察和模板之間的差異每幀進行更新

其中 ε  表示最大差異：

其中，|.| 表示向量的絕對值。

(2)  遮擋檢測

為了能在目標被遮擋的情況下準確的跟蹤目標，CCM 需要對目標進行遮擋檢測。為了提高遮擋檢查的魯棒性，還根據兩種實踐指導原則提出遮擋檢測的新方法。首先，從遮擋匯出的外觀變化足夠以區別於其它擾動因素，例如照明變化和運動模糊，其通常對所有畫素產生類似的干擾。第二，封閉部分通常是連線緊湊的區域。

在上述指導原則的基礎上，構造當前差異影象 D  如下：

其中 |.| 表示向量的絕對值。然後使用以下兩個標準搜尋遮擋。

多樣性標準：首先計算差異影象 D  的平均值 μ ( D ) 和標準差 σ ( D )。顯然，低 σ (D) 表示差異影象 D  中的多樣性較少。如果

則認為目標沒有被遮擋，其中 θ ₀ = 0.8 是多樣性的預定義容差。否則，根據空間標準進一步判斷。

空間標準：對差異影象 D  進行二值化後，應用形態學操作去除小區域，並填充區域之間的小孔。為每個 連線區域 R  計算兩個屬性( a ₁ ( R ), a ₂ ( R ))，其中 a ₁ ( R ) 表示區域 R  的面積， a ₂ ( R ) 表示包含區域 R  的最小凸多邊形面積。如果區域 R  滿足

則認為 R  為遮擋區域，其中 θ ₁  = 0.1 和 θ ₁ = 0.5 是兩個預定義的閾值，|.| 表示向量的絕對值。第一個不等式目的是過濾掉太小的區域，第二個過濾掉太稀疏的區域。

為了從模板匹配和更新中排除遮擋的部分，將所有遮擋畫素的置信度直接設定為零。

(3)  最優匹配求解

先考慮無約束的置信度匹配問題，即，放棄公式(2)中的約束條件。用 J ( p ; I )表示的目標函式 ε ₂ 針對引數p和影象 I 的雅可比矩陣，我們有

其中 Line"/> 是影象 I  針對 的梯度， 表示變換函式的雅可比。對於傳入幀 I _t ，運動引數最初估計為 p _t = p _t-1 。根據均值偽反轉法 (PMJ)，位移 Δp 計算為

其中 ，然後引數更新為

迭代更新直到達到收斂或最大迭代次數。

在實踐中的觀察，上面獲得的運動引數 p _t  通常滿足問題(2)中定義的約束。然而，一旦獲得的 p _t  違反(2)的約束，即採用一種簡單而有效的方法來重新計算變換函式。用 表示有效解空間。從中均勻地進行 Ns  = 2500 次取樣選取候選解決方案 q _i (1 ≤ i ≤ Ns )，並選擇具有最小差異的引數

第四步：根據第三步的跟蹤結果更新模板 T 。

CCM採用 卡爾曼濾波器 來進行模板更新。分別用 y _t  和 z _t  表示模板 T  的亮度在時間 t  的向量化狀態估計和觀察，卡爾曼濾波器用控制輸入模型來定義狀態預測和觀測模型

其中 A _t  是應用於先前狀態 y _{t -1}  的狀態轉換矩陣， B _t  是應用於控制向量 u _t  的控制輸入模型， H _t  是將真實狀態空間對映到觀察空間的觀察矩陣， w _t   和 v _t   分別是狀態噪聲和觀測噪聲。在卡爾曼濾波中，通常假定 w _t  和 v _t  為零均值的高斯分佈，並且分別記其方差為 Q _t  和 L _t 。

在下文中，用符號表示給出觀察時間 t '≤ t  下 y  在時間 t  的估計值， _' 表示對應的誤差協方差。利用卡爾曼濾波器更新模板 T (即 y _t )的過程可以分為 計算狀態矩陣、建立控制輸入模型、模板更新 幾個子步驟。

(1)  計算狀態矩陣

儘管存在外在環境的干擾，物體本身保持不變且可以直接觀察。它意味著可以採用簡單的狀態轉換和觀察模型，使得 A _t = I 和 H _t = I (這裡 I 代表單位矩陣)。採用自動協方差最小二乘法(ALS)技術來學習噪聲協方差矩陣 Q _t  和 L _t 。為了減少計算複雜度和對訓練資料的依賴性，在畫素的噪聲彼此獨立的假設下，將噪聲協方差矩陣 Q _t  和 L _t  簡化為對角線矩陣。

(2)  建立控制輸入模型

控制輸入模型根據畫素之間強度共生的概率近似來構建。特別地，控制矩陣 B _t 被構建為

其中 B _t ( i , j ) 表示控制矩陣 B _t   的第 i  行第 j  列的元素， k  控制用於計算的視窗的大小。共生函式定義為

其中 y _m ( i ) 和 y _m ( j ) 分別表示畫素 i 和畫素 j  在時刻 m  的亮度。這種做法的原因是具有相似亮度的畫素傾向於保持與輸入相似的反應。在構建控制矩陣 B _t  之後，需要將其歸一化為行隨機矩陣。

初始控制矩陣 B ₀  根據初始模板 y ₀ 構建。為了計算簡單，一旦計算了 B _t ，我們固定

直到 B _t+k 下次更新。我們在實驗中設定 k = 20。

在獲得後驗估計 之後，計算環境輸入 u _t   以最小化先前模板與當前估計之間的平方誤差：

(3)  模板更新

首先計算先驗狀態估計和協方差：

步驟三的最優匹配結果被用作觀察 z _t 。因此計算殘差和協方差：

隨後更新後驗狀態估計和協方差：

其中 為最優卡爾曼增益， I 表示單位矩陣。

第五步：跳轉到步驟二處理下一幀影象。

測試結果

為了徹底評估，CCM演算法在兩個公共資料集上進行了測試：加利福尼亞大學提出的UCSB基準和加拿大阿爾伯塔大學提出的操作任務跟蹤（TMT）基準。UCSB資料集包括96個視訊流，顯示6個不同紋理的平面目標，總共6889幀，具有幾何失真（搖攝、縮放、傾斜、旋轉）、九個運動模糊等級以及不同的照明條件，所有幀都受到不同程度的噪音影響。TMT資料集由人為和機器記錄的操作任務的影象序列組成，它包含109個影象序列，共70592幀。

對應於每個視訊類別的平均跟蹤精度彙總在表I（UCSB）和II（TMT）中，如下：

從實驗結果可以看出，所提出的CCM演算法在 兩個資料集上顯著地優於所有基線 。事實上，CCM在幾乎所有視訊類別中都獲得了 最佳或幾乎最佳的跟蹤效能 ，明顯優於現有的主流跟蹤演算法，如基於關鍵點的跟蹤（keypoint-based tracker）,基於模板的跟蹤（ template-based tracker）以及概率跟蹤（probabilistic tracker），並且它對於極端姿態變化以及嚴重的環境擾動都表現出很高的魯棒性。

CCM演算法與其他演算法相比，在各類內在和外在變化的幾個典型示例如下，包括具有重複圖案的影象傾斜；劇烈而動態的日落畫面引起照明變化，紋理非常弱；存在部分遮擋；運動模糊，在這種情況下檢測不到可靠的關鍵點。

AR 的研究仍需持續努力

儘管計算機對於“常規”平面物體的認識已經能達到很高的速度、精度，以及穩定性，但這明顯還不夠，研究人員希望計算機能夠儘可能“模擬”人的視覺效果，甚至在一定條件下超過人眼，這樣，在演算法工程化之後面向普通使用者時，才能保障優質的使用者體驗，如在傳統的平面物體跟蹤中，容易出現快速運動丟失或漂移等現象，反映到使用者體驗上，車窗外的廣告牌就容易識別不到，在走動過程中玩AR遊戲發現地面上的傢俱會“飄”起來等。

這就需要相關的學術人員以及企業研發人員不斷的優化演算法、提出新方法，如此才能結合不斷升級的硬體環境實現高度的市場化。對於目前的2D AR甚至整個AR行業來說，需要從業人員把現有技術應用化市場化，但同樣需要大量真正的創新人員向前推進底層技術邊界，讓AR走向成熟。

相關資料