你也能拍一億畫素照片：多幀堆疊高解析度實戰與解析
提高畫素密度是未來感測器發展的一個重要方向，不過現在走在最前面的索尼其實一直是把重心放到了速度上，密度可能還要很長時間才能實現再次突破，這意味著單純靠感測器硬體來捕捉高畫素影象就成了看天吃飯，那麼有沒有技術可以曲線救國呢？答案就是多幀堆疊。
我們知道多幀堆疊的影象演算法大方向之一是代數求和取均值而降噪，但事實上哈蘇、奧林巴斯、索尼、賓得也早就給了我們另一個方向的啟示——畫素偏移，它的原理我以前也講過，就是通過位移畫素來實現取樣率的提升，從而實現解析力的增強，而K1-M2又進一步向大家展示了這個方法的進化型：手持多幀，利用手持時的自然抖動來實現取樣率的提升。
這個方法有一定的隨機性（因為手抖是隨機的），但並非不可複製，比如下圖就是手持拍攝20張手動後期堆疊後，與單張的等比100%放大對比：
左側為單張原圖，右側為堆疊高解析度，可以看到空間解析度與銳度明顯提升，而且摩爾紋與偽色大大降低。那麼這張照片是如何拍攝和後期的呢？
最重要的就是手持相機（不需要上腳架，但手要端穩），快門速度最好是1/兩倍焦距，比如50mm鏡頭就是1/100秒，儘量低的ISO，光圈不建議太大F5.6以下最好，鎖定對焦和測光，連拍RAW至少20張，得到一個原始檔案序列。
接下來在PS裡開啟所有檔案並匯入堆疊，這時候要注意不要自動對齊。這個步驟會比較吃處理器單核效能和記憶體容量，我的測試機是64GB記憶體，2400萬畫素影象的20張堆疊。
堆疊完成後強行放大照片尺寸，比例為200%（也就是9600萬畫素），此時要點選重新取樣模式為鄰邊（硬邊緣）以防止過銳化。
這時候全選所有圖層，選擇編輯、自動對齊，然後選擇自動模式並取消勾選鏡頭校正功能，完成後點OK。對齊完成後仔細檢查是否對齊，如果出現問題，一張張的隱藏來看問題出在哪裡，情況嚴重的話就刪掉有明顯問題的影象圖層。
接下來就是一層層調整透明度，以20張為例最頂層就是1/20，也即5%，從底層到頂層可以分別是100%（1/1）, 50%（1/2）, 33%（1/3）, 25%（1/4）, 20%（1/5）……5%（1/20），完成後拼合所有圖層。這個調整雖然繁瑣，但比起通過智慧物件堆疊來計算均值還是要快很多，建議堆疊張數比較少的時候用這個簡單粗暴的方法。最後可以用數量300%、半徑2畫素的智慧銳化來壓榨一下細節，但這樣也可能會導致銳化過沖，因此需要具體問題具體分析。
那麼問題來了，這種堆疊方式的實現原理是什麼？簡化的觀念是每一幀的每一畫素都有不同的取樣，通過堆疊的方式實現高解析度下更低的邊緣鋸齒，把影象等比放大到畫素級對比單張效果就非常明顯了：
很明顯，多幀堆疊後的9600萬畫素影象在等比放大的情況下鋸齒要少非常多，可以直觀地看出取樣率提升對解析力的增益效果，對於高放大倍率的細節識別很有幫助（可參考下面的對比GIF圖）。其實這個技術跟NVIDIA用在Maxwell GPU上的MFAA在原理上很類似，都是時域空域結合計算，應對靜態拍攝主題是很好用的技術，合理利用的情況下對數毛感受的提升會非常明顯。
但它的缺點也很直觀——隨著堆疊張數的增加，對記憶體和儲存容量要求會很高，9600萬畫素的20張影象對齊在Core i7 8700K處理器和64GB DDR4-2666的組合下也需要超過5分鐘，而且暫存檔需要經20GB的空間（C盤空間不富裕的記得改一下位置）。對拍攝機身的快取要求也比較高，如果快取寫滿但未達所需張數下限，手抖的影響會變得更不可控，最終出片銳度可能會明顯降低，除此之外對動態物體也是無能為力的。當然，最大的問題是你拍完後並不知道最終能不能達到想要的效果，很可能回到電腦上操作了很久才發現無法很好的對齊或者設定出現了問題……所以這是一個相對而言更偏理論的方法，實用成功率因人而異。
不過，機智如你應該能看出來，這也就是手持式畫素偏移的手動處理方式了，從技術上來看並不算是什麼新鮮事兒，早在15年前就有了類似的基本概念出現，甚至可以說是多幀移點陣圖像堆疊處理最基本的應用，在機器視覺、環境監控等領域，它還能提供還原模糊畫面的功能：
在攝像機拍攝到的抖動畫面中隨機取3幀（上行），可以看到畫面非常模糊，細節呈現並不出色，而下行a為單幀銳化；b為視訊數字防抖；c為數字超取樣；d就是我們前面教程用到的拍攝方法，也就是很成熟MFSR（Multi-Frame Super Resolution）方案，但它應對畫面鋸齒很OK，對動態模糊確實無可奈何；而e則是在此基礎上，優化了動態模糊的算術核，進而得到了幾乎完美的動態畫面還原。
本文設計的具體演算法細節有點複雜（尤其是針對動態模糊的部分），比之前所寫的要更深一些，而且還有針對單張的計算方案，也可以用神經網路學習的方式來進行優化，有興趣的話就有空再聊。中秋節帶熊孩子出去玩就不更新了，但這次出行要帶上索尼RX100 M6，這算是第一次旅行不帶更大畫幅的單反/微單，回來再寫寫感受吧，希望不要被坑……