堅持後置單攝的 Google，今年又用演算法玩出了哪些拍照「黑科技」？
在最近幾年，手機後置多攝像頭的現象越來越普遍。包括近期釋出的 iPhone XS 在內，大多數旗艦手機都採用了後置雙攝的設計，部分廠商甚至推出了後置三攝像頭 乃至四攝像頭 的機型。
在這樣一股潮流中，Google 最近釋出的Pixel 3 顯得格外特立獨行。在 Pixel 3 使用後置單攝像頭上，Google 有著怎樣的考量？如果你也有這樣的疑問，不妨看看 Google 的高管在接受 ofollow,noindex">採訪 時怎麼說。
硬體小幅升級，AI 依然是中流砥柱
和 Pixel 2 相比，依然採用了 1220 萬後置攝像頭的 Pixel 3 似乎並沒有什麼變化。但實際上，Google 在硬體層面上對後置攝像頭元件進行了提升。根據 iFixit 的 Google+Pixel+3+XL+Teardown/113656" target="_blank" rel="nofollow,noindex">拆解 來看，Pixel 3 採用了新一代的感測器和光學防抖裝置，從硬體層面上為成片效果提供了保障。
當然，僅看硬體，Pixel 3 還不足以與其他品牌拉開差距。AI 和演算法，才是 Pixel 3 的「祕密武器」。去年 Pixel 2 拍照的 出色表現 ，已經讓我們看到了 Google 在機器學習和影象處理領域的深厚功底。按 Google 的話說，「凡是你能用人工智慧做到的，我們都可以做得更好」。
Anything you can do in AI, we can do better.
也正是出於對自家演算法的自信，Pixel 3 延續了上一代的後置單攝像頭的設計。在接受國外媒體採訪時，負責產品管理的 Google 副總裁 Mario Queiroz 表示，額外的後置攝像頭對 Pixel 3 「毫無必要」。「藉助 Google 在機器學習領域的領先地位，單攝像頭感測器已經為我們提供了足夠的深度資訊。通過用數百萬張圖片訓練我們的演算法，Pixel 3 可以憑單攝像頭拍出理想的照片。」
儘管如此，不少人可能依然有疑問。既然單攝像頭可以實現目前的成像效果，假如 Pixel 3 採用雙攝，相機水平豈不可以更進一步。但 Google 表示，第二枚鏡頭往往在感測器、鏡頭元件和對焦的的表現上遜於主鏡頭，因此在夜景下可能適得其反。
AI + 硬體，帶來數項新功能
在藉助機器學習和演算法來優化攝影方面，正在發力的並非只有 Google 一家。在推出iPhone 7 Plus 時，蘋果就利用機器學習 配合後置的雙攝像頭，帶來了 Beta 版的人像模式。而在今年，iPhone XR 同樣利用演算法，實現了與 iPhone XS 相似的拍攝體驗。
然而對蘋果來說，用軟體層級的演算法代替硬體上的雙攝，更像是一種出於成本和價格考量的妥協。相比更貴的 iPhone XS，iPhone XR 依然無法實現部分人像光效 1 。反觀 Google，則是從一開始就確定了 Pixel 3 單攝+AI 的模式。
根據負責 Pixel 相機團隊的產品經理 Isaac Reynolds 介紹，早在 Pixel 2 釋出前，Pixel 3 相機的研發就已經展開。在此期間，整個團隊總共提出了十餘個可能的新功能。通過綜合判斷可實現性和實用性，團隊最終將保留下來的功能帶到了 Pixel 3 中。這些新功能的實現，都離不開 AI 的深度參與。例如，「Top Shot」功能會捕捉一段動態影象，然後自動篩選出效果最好的一張。當拍攝人像時，Pixel 3 會盡量選出有笑容、眼睛張開的人像，並剔除含有模糊的人臉或被風吹亂的頭髮的照片。要實現這樣的篩選，離不開 AI 的支援。
通過 AI 與硬體的深度融合，Pixel 3 的相機帶來了以下新功能。
更進一步的 HDR+
去年，Pixel 2 的 HDR+ 功能拍攝出的 樣片 驚豔四座。在相機 app 啟動後，即使快門沒有被按下，Pixel 2 也會持續捕捉影象，並將最近的 9 張儲存在記憶體中。按下快門後，Pixel 2 會將記憶體中的影象與當前照片一道進行處理，從而在高對比度的條件下獲得較高的動態範圍。
Pixel 3 則進一步提升了 HDR+ 的成像效果。首先，相機自動快取的影象從 9 張增加到了 15 張。此外，Pixel 3 還運用了 超高解析度成像 （super-resolution）技術來獲取傳統的感測器和鏡頭無法捕捉的細節。這項結合了機器學習演算法的新技術與光學防抖（OIS）一道，保障了 HDR+ 出色的成像。具體來說，OIS 負責在感測器的層級上提高拍攝時的穩定性，而演算法則從亞畫素的層面上對影象細節進行綜合和校準。
這些進步已經相當出色，但 Pixel 相機的研發團隊並沒有就此止步。要進一步理解他們的研究，我們需要先了解一些相機成像的基本知識。
要要形成一張圖片，就需要得到它每個畫素點的顏色（RGB 值）。然而，要想在成像時實現這一目標，就需要在每個畫素點上合理地佈置紅、綠、藍三色濾鏡。要在畫素層級做到這一點，其難度可想而知。因此，目前被廣泛採用的是 拜爾式排列的濾色鏡 。在這種方案下，每個畫素點只有單色的濾色鏡，而不同顏色的濾色鏡則按照一定的規則進行排布。
在藉助感測器得到顏色資訊後，手機的相應晶片會通過一系列 去馬賽克 （demosaic）的手段，通過相鄰畫素點的顏色來還原每個畫素點的 RGB 值。然而這樣的還原並非 100% 準確，必然會帶來一定誤差。
針對這一問題，Pixel 團隊的解決方法依然是機器學習。藉助海量的模型訓練，演算法可以更精準地測定每個畫素點的 RGB 值。通過省去去馬賽克的步驟，Pixel 3 的相機能夠更好地抑制影象上的噪點。
超級變焦（Super Res Zoom）
自 iPhone 7 Plus 起，擁有後置雙攝像頭的 iPhone 均提供了 2 倍的光學變焦模式。相比常見的數碼變焦，利用額外的長焦鏡頭實現的光學變焦有著更為優良的成像效果。
而藉助名為「Super Res Zoom」的新功能，Pixel 3 在沒有長焦鏡頭的情況下，實現了類似光學變焦的高質量數碼變焦。這也是 Pixel 3 硬體與 AI 融合的另一例證。在硬體上，Pixel 3 鏡頭所使用的透鏡在解析度上要優於感測器， 從而使成像效果不會受硬體上的限制。而在 AI 層級，機器學習被 Google 用來消除拍攝時手的抖動對成像的影響。此外，上文提及的 HDR+ 中用到的技術也在這裡發揮了作用，幫助 Pixel 3 的相機獲得更多細節。
不過目前，這一功能也有一點缺陷。只有當縮放倍數超過 1.2 倍後，Super Res 功能才會被啟用。自然地，縮放倍數越小，成像的效果也就越好。在 2 倍變焦下，按照 Google 高管的描述，Super Res 的成像效果足以媲美光學變焦。
Raw 格式輸出（Computational Raw）
在 Pixel 3 上，Google 首次引入了 Raw 格式的拍攝選項。根據 Isaac Reynolds 的介紹，Pixel 3 的 Raw 格式成像充分利用了其搭載晶片的強大運算能力。通過合併和校準多張影象，Pixel 3 的 Raw 格式效果更加接近單反相機。
Our Raw file is the result of aligning and merging multiple frames, which makes it look more like the result of a DSLR
一般來說，相機感測器的尺寸與成像效果息息相關。由於尺寸的限制，手機鏡頭在進光量等方面有著先天的劣勢，因而在 Raw 格式的成像效果上也往往無法與單反抗衡。而 Pixel 3 通過上文提到的合併多張影象的方式，彌補進光量上的不足，從而提高照片在高光和陰影部分的細節，並減少成片的噪點。
此外，正如上文所述，Pixel 3 在獲取畫素點的 RGB 值時，並沒有採用通常的去馬賽克手段。這也就讓 Pixel 3 輸出的 Raw 格式影象更為純正。
升級版人像模式（Portrait Mode）
去年釋出的 Pixel 2 的人像模式同樣令人 印象深刻 。 除了通過攝像頭獲取和分析景深資料，Pixel 2 還藉助 Google 的出色演算法，準確地直接區分出照片的主體和背景。此外，Pixel 2 也在低亮度條件下展示了單攝像頭的優勢。今年，Pixel 3 也為人像模式帶來了明顯的提升。
根據 Google 資深工程師 Marc Levoy 的介紹, Pixel 3 在獲取景深資訊的過程中，也引入了機器學習的方式。經過訓練後的演算法可以更準確地判斷影象的深度資訊。即使面對複雜物體，演算法也能保持較高的識別水準，從而實現出色的成像效果。在下面的圖片裡，可以明顯看到引入演算法後，Pixel 3 對景深判斷的進步。
人像光照（Synthetic Fill Flash）
在 Pixel 2 中，前置相機的人像自拍功能已經可以很好地藉助演算法識別人臉。而在 Pixel 3 中，藉助類似的演算法，其後置鏡頭也可以自動檢測人臉，併為其新增適當的光效，帶來類似反光板的攝影效果。
值得一提的是，這一演算法還被用在了前置相機的視訊錄製上。當使用者用前置鏡頭錄製視訊時，Pixel 3 會通過這一演算法對每一幀畫面中的人臉進行識別，並儘量穩定人臉的位置，從而抵消抖動，增強畫面的穩定性。
夜景模式（Night Sight）
相比許多手機相機單純依靠長曝光的夜景模式，Pixel 的夜景模式充分利用了 HDR+ 的功能，無需保持長時間的穩定持握，從而更方便地實現低亮度下的攝影。
在夜景模式下，Pixel 2 的快門速度始終保持在 1/15 s 之上。只有這樣，Pixel 2 才能保證在快取 9 張影象的同時不產生延遲。但在某些亮度極低的環境中，這依然不足以拍出足夠清晰的照片。為了解決這一問題，Pixel 3 犧牲了原本的零延遲特性，改為要求使用者在按下快門後，繼續持穩手機一段時間。這樣，Pixel 3 的相機可以儲存 15 張影象，每一張的曝光時間可以延長至最高 1/3 s。然而，在總共長達 5 s 的曝光時間裡，如果不使用三腳架等額外裝置，必然會在拍攝時產生一定的晃動，從而影響成片。
演算法在解決這一問題上同樣發揮了重要的作用。儘管在總計 5 s 的曝光中難免出現抖動，但由於生成的是 15 張曝光時間較短的影象，因而可以保證這些影象的大部分足夠清晰，只是不同的影象之間存在著位移。而上文中介紹的演算法可以識別出每張圖片的主體和抖動帶來的位移，從而對這些影象進行校正，之後再通過 HDR+ 功能進行合成。此外，夜景模式還可以通過機器學習自動調整照片的白平衡。
在下面展示的 Google 提供的樣圖中，可以明顯的看到夜景模式帶來的出色效果 2 。
目前，Pixel 3 的夜景模式還未正式釋出，但預計將於今年年內向使用者推出。
小結：Google 的目標
Pixel 3 相機一系列新功能的背後，是「一鍵攝影」的理念。當檢測到有趣的活動時，自動開啟動態圖片模式；拍攝人像時自動開啟人像光效；高對比度下自動開啟 HDR+ ；低亮度條件下啟動夜景模式；Top Shot 功能智慧地選擇最佳照片…… 得益於 AI 和硬體的結合，Pixel 3 可以根據當前場景，無縫地自動啟用適當的功能；使用者則只需要享受這一時刻，按下快門。這，或許是 Google 在攝影上的最終目標。
At their best, these technologies allows you to focus on the moment
:link: 參考文章：