深度技術乾貨 Mars說光場（5）— 光場在三維人臉建模中的應用

摘要： 三維建模是計算機視覺中的一個經典問題，其主要目標是得到物體/場景的三維資訊（e.g。 點雲或深度圖）。然而只有三維資訊還不足以逼真的渲染重現真實世界，還需要表面反射場資訊才能在視覺上以假亂真。本文主要介紹美國南加州大學ICT Graphic Lab的Paul Debevec所引領開發的Ligh...

三維建模是計算機視覺中的一個經典問題，其主要目標是得到物體/場景的三維資訊（e.g。 點雲或深度圖）。然而只有三維資訊還不足以逼真的渲染重現真實世界，還需要表面反射場資訊才能在視覺上以假亂真。本文主要介紹美國南加州大學ICT Graphic Lab的Paul Debevec所引領開發的Light Stage技術，該技術已經成功應用在好萊塢電影特效和2014年美國總統奧巴馬的數字人臉建模等諸多應用中。

1、反射場在三維成/呈像中的重要性

三維建模可以得到物體的幾何資訊，例如點雲、深度圖等。但為了在視覺上逼真的重現三維物體，只有幾何資訊是不夠的。不同物體表面在不同光照環境下會呈現出不同的反射效果，例如玉石會呈現出高光和半透明的反射效果、棉麻織物會呈現出漫反射的效果。即使是相同表面，在不同光照下也會呈現出不同的反射效果，例如圖1中的精靈在魔法燈的照射下，臉上呈現出相應的顏色和陰影；阿凡達在發光水母的照射下臉上和身上也會呈現對應的反射效果，這就是Relighting所產生的效果。在現實生活中Relighting是一種再正常不過的現象了。然而當電影中Relighting的效果與實際不符時，人眼會感受到莫名的異常。

模擬出與真實物體表面一致的反射特性，對提高計算機渲染成/呈像的逼真度至關重要。在實際的拍攝中並不存在精靈和阿凡達，也不存在魔法燈和發光的水母，如何生成Photorealistic的影象呢？通過計算機模擬反射場（Reflectance Field）是目前好萊塢大片中慣用的方法。反射場是對所有反射特性的一個普適數學模型，物體表面不同位置（x， y， z）在時刻（t）向半球範圍內不同角度（θ， Φ）發出波長為（λ）的光線，由R（x， y， z， θ， Φ， λ， t）七個維度構成的光線的集合就是反射場。關於光場和反射場的異同點參見《Mars說光場（1）— 綜述》。

圖 1。 反射場Relighting示意圖

2、USC Light Stage介紹

Light Stage是由美國南加州大學ICT Graphic Lab的保羅•德貝維奇（Paul Debevec）所領導開發的一個高保真的三維採集重建平臺系統。該系統以高逼真度的3D人臉重建為主，並已經應用於好萊塢電影渲染中。從第一代系統Light Stage 1於2000年誕生，至今已經升級到Light Stage 6，最新的一代系統命名為Light Stage X。

2.1 Light Stage 1

如圖2所示，Light Stage 1 包括1個光源（strobe light）、2個相機（解析度480x720）、1個投影儀，整個裝置直徑約3米[1]。光源可沿機械臂垂直移動，同時機械臂可帶動光源水平旋轉。整個採集過程包括兩個階段：第一階段是以人臉為中心旋轉光源，從而構成64x32個不同方向的等效光源入射到人臉上。與此同時，兩個相機同步拍攝不同光照下的左側臉和右側臉，每個相機共拍攝2048張圖片，如圖3所示。需要說明的是光源和相機前分別覆蓋了互相垂直的偏振片，用於分離散射和高光（separate diffuse and specular）。第二階段是投影儀與2個相機配合完成基於結構光的三維重建，如圖4所示。整個採集過程耗時約1分鐘，採集過程中人臉需要持續保持靜止，這對演員保持靜止的能力提出了極高的要求。

圖 2。 Light Stage 1系統樣機

Light Stage 1採集的圖片樣例如圖3所示，第二行圖片中亮點表示光源的位置，第一行圖片表示對應光源照射下采集到的人臉圖片，實際採集的反射場圖片包括64x32光源位置下的2048張圖片。採集三維幾何模型通過結構光三維重建實現，如圖4所示。

圖 3。 Light Stage 1 採集圖片樣例

圖 4。 Light Stage 1 基於結構光的三維重建

在進行Relighting渲染之前還需要通過Specular Ball / Mirror Ball採集環境光照，如圖5所示。通過Mirror Ball採集的圖片需要經過重取樣得到離散的環境光照矩陣[2]，然後將環境光照應用在反射場圖中，得到如圖6中Relighting的渲染效果。圖6中第二行圖片為Specular Ball在不同環境下采集的環境光照展開圖，第一行圖片為對應光照下人臉渲染結果。需要說明的是，圖6中人臉Relighting的渲染圖片只限於固定視點，如果需要改變視點需要結合結構光采集的三維幾何模型。

圖 5。 Specular Ball 採集環境光

圖 6。 Light Stage 1 人臉Relighting效果

2.2 USC Light Stage 2

Light Stage 2 在Light Stage 1 的基礎上增加了更多的光源，將23個白色光源分佈於弧形機械臂上[3-5]。機械臂旋轉到不同的經線位置，並依次點亮光源，最終形成42x23個不同方向的入射光源。採集時間從1分鐘縮短到4秒，降低了演員維持靜態表情的難度。如圖7所示，右側為Light Stage 2真機系統，左側為採集過程中4秒長曝光拍攝圖片。

圖 7。 Light Stage 2 採集示意圖

2.3 USC Light Stage 3

在不同的光照環境下，人臉會反射出不同的“臉色”，例如人臉在火炬前會被映紅。通過改變環境光照而使物體表面呈現與之對應的反射狀態稱為“Relighting”。然而在電影拍攝中並不能把演員置身於任意真實的環境中，例如《指環王》中男主角佛羅多·巴金斯置身於火山岩中，又例如阿凡達置身於夢幻藍色樹叢中。Light Stage 3並不用於人臉建模，而是構建一個可控的彩色光照平臺，從而可以實現人臉實時的Relighting[6-8]。

Light Stage 3的支撐結構為二十面體，包括42個頂點、120條邊、80個面，如圖8所示。在每個頂點和每條邊的中心放置一個彩色光源，一共可放置162個彩色光源。由於球體底部5個頂點及其相應的邊被移除用於演員站立，因此實際光源數量減少到156個。光源型號為Philips Color Kinetics，iColor MR gen3 LED Lamp http://www.lighting.philips.com/main/prof/indoor-luminaires/projectors/icolor-mr-gen3。光源的亮度和顏色通過USB控制PWM佔空比來實現。用於人臉影象採集的相機為Sony DXC-9000，幀率60fps，解析度640x480，FOV 40度。Light Stage 3還包括6個紅外光源和1個灰度相機。紅外光源的峰值波長為850nm。灰度相機為Uniq Vision UP-610，幀率110 fps，解析度640x480，FOV 42度，紅外濾光片為Hoya R72。彩色相機和紅外相機之間採用分光片確保彩色影象和紅外影象對齊，30%反射進入紅外相機，70%透射進入彩色相機，如圖9所示。

圖 8。 Light Stage 3 採集系統樣機

圖 9。 Light Stage 3 分光采集系統

如圖10所示，Light Stage 3的工作流程如下：首先用Specular Ball採集目標環境光照，或者計算機生成虛擬環境的光照。然後控制156個彩色光源模擬出與目標環境光照相似的光線，演員在Light Stage 3產生的光照下進行表演。最後通過紅外成像把Relighting的人像扣出並融合到電影中。由於Light Stage 3不能重建三維人臉模型，因此不能隨意切換視點，需要演員精湛的演技將肢體形態與目標環境融合。最終Relighting合成視訊如下所示。

圖 10。 Light Stage 3 採集圖片樣例及融合真實環境效果效果

2.4 USC Light Stage 5

Light Stage 5採用與Light Stage 3同樣的支撐結構，但把156個彩色光源換成156個白色光源，如圖11所示[9-12]。每個白色光源包括12個Lumileds LED燈珠，平均分成2組，分別覆蓋水平和垂直的偏振片。理想情況下，需要按照Light Stage 2的光照模式依次點亮每個光源並拍照，那麼一共需要拍攝156張圖片。Light Stage 5創新性地採用了球諧調和光照（Spherical Harmonic Lighting），如圖12所示，將光照模式（Lighting Pattern）從156個減少到4個，分別是沿X/Y/Z方向遞減的3個梯度光照和1個均勻全亮光照。由於需要拍攝水平和垂直兩種偏振狀態下的圖片，因此每個相機一共需要拍攝8種光照模式下的8張圖片。相比之前的Light Stage，整個採集的時間大大縮短。如果採用高速相機可以達到實時採集，如果採用單反相機需要2秒。

圖 11。 Light Stage 5 採集系統樣機

圖 12。 Light Stage 5 偏振光佈局

人臉包括低頻和高頻兩種幾何資訊，低頻幾何資訊主要是指鼻樑高低、臉型胖瘦等；高頻幾何資訊主要是指毛孔、鬍鬚、脣紋等。對於低頻幾何資訊，Light Stage 5採用兩種三維建模方法：一種是用DLP高速投影儀和Phantom高速攝像機構成基於結構光的實時三維重建。另一種是採用5個單反相機（Canon 1D Mark III）構成多視幾何（Multi-view Geometry）重建三維人臉模型。在上述兩種三維建模方法的基礎上，進一步採用Photometric Stereo來生成高頻幾何模型。圖13為Light Stage 5所完成的“Digital Emily”專案中重建的數字演員艾米麗[13，14]，左側為重建的高精度Normal Map，中間為只用Diffuse Component重建的人臉模型，右側為同時加上Diffuse Component和Specular Component以後重建的高精細人臉。

圖 13。 Light Stage 5 Digital Emily人臉重建效果

2.5 USC Light Stage 6

如圖14和15所示，Light Stage 6是為採集演員全身反射場而設計[15]。支撐結構直徑8米，為了使演員處於球體中心，去掉了球體底部1/3。Light Stage 6共包括1111個光源，每個光源由6顆LumiLEDs Luxeon V LED燈珠構成。採集系統包括3臺垂直分佈的高速攝像機以30fps同步採集影象，每一幀影象包括33種不同光照。所以高速相機實際的工作頻率為990Hz。在支撐結構的中心有一個旋轉平臺，該旋轉平臺為演員有效的表演區域，直徑2米。在採集過程中旋轉平臺會持續旋轉，高速相機從而拍攝到不同視點的演員影象，演員需要不斷的重複週期性動作，整個採集過程約幾分鐘。

圖 14。 Light Stage 6 採集系統樣機

圖 15。 Light Stage 6 採集系統示意圖

Light Stage 6並不對人體進行幾何建模，而是採用與Light Stage 3類似的原理來實現Relighting。Light Stage 6相比Light Stage 3的改進之處在於視點可切換。Light Stage 6為了實現視點切換，需要演員週期性的重複動作，例如跑步，然後採集到所有不同光照下不同視點的影象。圖16上側圖片為1/30秒內某一個相機採集的所有圖片，包括26張不同光照下的圖片（Lighting Frames），3張紅外圖片（Matting Frames）用於摳圖，3張跟蹤圖片（Tracking Frames）用於光流對齊圖片，1張預留圖片（Strip Frame）目前無用，將用於後續其他潛在功能應用。圖16下側圖片為相機陣列中上中下三個相機分別採集到的圖片。如圖17所示，所採集的圖片分佈於一個圓柱形上，當渲染不同視點下的Relighting圖片時，從圓柱形上選擇合適的視點進行融合。

圖 16。 Light Stage 6 採集圖片樣例

圖 17。 Light Stage 6 多視點渲染

2.6 Light Stage對比總結

Light Stage 1 和Light Stage 2都是基於稠密取樣的反射場採集，因此採集時間較長。Light Stage 3採集彩色光源照射實時生成Relighting圖片，但沒有進行三維建模，所以應用場景有限。Light Stage 4的研發被擱置了，所以取消了Light Stage 4的命名，轉而直接研發Light Stage 5。Light Stage 5基於球諧調和進行反射場的低階取樣，是相對比較成熟的一代系統，已經在《本傑明•巴頓》、《蜘蛛俠》等電影特效中得到應用。最新研發的系統為Light Stage X，小型可移動，專門針對高精度人臉反射場採集建模；其光照亮度、光譜、偏振狀態都可以基於USB介面通過電腦程式設計控制，自動化程度更高，採集時間更短。2014年採集美國時任總統奧巴馬頭像時，就是基於Light Stage X系統，如圖18為採集現場，圖19為重建結果。Paul Debevec及其團隊核心成員於2016年加入谷歌DayDream部門，主要是將光場技術應用於泛VR領域，其團隊於2018年8月在steam平臺上上線了《Welcome to light field》體驗應用。

表 1。 USC Light Stage彙總對比

	Light Stage 1	Light Stage 2	Light Stage 3	Light Stage 5	Light Stage 6
尺寸（直徑）	3米	2米	2米	2米	8米
支撐結構	1個光源可沿機械臂上下移動	30個光源均勻分佈於弧形機械臂	二十面體，42個頂點，120條邊，80個面。	二十面體，42個頂點，120條邊，80個面。	二十面體的均勻細分，只保留整圓的2/3。圓球結構中心為旋轉舞臺。
實際光源數量	1個白色	30個白色	156個彩色LED光源，6個紅外光源（850nm峰值波長）	156個白色LED光源	1111個白色LED光源（LumiLEDs Luxeon V）
等效光源數量	64x32個白色	42x30個白色	156個彩色	156個白色	1111個白色
相機數量	2@480x720	2@480x720	（a）1個RGB相機（Sony DXC-9000@60fps @640x480 @FOV40）。 （b）1個紅外相機。 （Uniq Vision UP-610@110 fps@640x480 @FOV42 Hoya R72濾波片）。	（a）雙目高速相機（Phantom   V7.1 @ 800 × 600）+結構光（DLP projector @1024x768）。 （b）5個相機構成多視幾何（Canon 1D   Mark III EF 50mm f/1.8 II lenses）。	3個高速相機垂直分佈。
採集時間	60秒	4秒	實時	實時/2秒	幾分鐘
三維重建方法	結構光	結構光	無三維建模	機構光/多視幾何	無三維建模，光流配準影象
優點	互相垂直偏振片分離散射和高光。	互相垂直偏振片分離散射和高光。 只需要水平旋轉，減少採集時間。	紅外成像用於人像摳圖。 彩色光源模擬環境光，實現人像實時Relighting。	互相垂直偏振片分離散射和高光。 實時建模/靜態建模。	互相垂直偏振片分離散射和高光。 可以採集全身運動。
缺點	採集時間過長，人臉難以保持靜止。 需要機械旋轉。	需要機械旋轉。	無三維建模，不能自由切換視點，需要演員精湛演技。	只能建模人臉，不能建模全身。	只能建模週期重複性運動。

（圖片來源於 http://vgl.ict.usc.edu/Research/PresidentialPortrait/）

圖 18。 Light Stage X為美國時任總統奧巴馬採集人臉頭像現場

（圖片來源於 http://vgl.ict.usc.edu/Research/PresidentialPortrait/）

圖 19。 美國時任總統奧巴馬重建頭像

來源於：雷鋒網

原文連結：https：//www.leiphone.com/news/201810/Nkfbu0Her1Em8jlG.html

作者：騰訊科技高階研究員 曹煊博士

本文轉自雷鋒網，如需轉載請至雷鋒網官網申請授權。

新浪宣告：新浪網登載此文出於傳遞更多資訊之目的，並不意味著贊同其觀點或證實其描述。