Facebook:逼真的AR/VR虛擬形象要細節到每根發絲

青亭網( ID:qingtinwang )--鏈接科技前沿,服務商業創新

近年來,Facebook一直在探索逼真的3D虛擬形象技術,已經可以通過容積攝影技術和實時渲染來模擬寫實的人臉面部表情。不過,如同市面上許多方案,虛擬形象的頭發、毛發等細節模擬的并不準確,不夠細致。

微信圖片_20210825162225

在VR社交、會議等場景中,逼真呈現參與者的動態表情和外觀長相足夠重要,因為你可以在說話的同時配合表情來表達自己,而逼真的外觀則更貼近你的形象,更能代表你。與此同時,如果毛發等細節能看起來足夠逼真,將有助于增強VR社交的沉浸感,提升體驗。

除此之外,在虛擬展示場景中,虛擬形象的細節也足夠重要。比如VR時裝造型展示,或是AR/VR假發/發型試用等等,甚至在VR演出場景中,毛發的細節變化也可以提升表演的質量和內容??傊?,逼真的細節為更多的應用場景帶來可能。

為了進一步完善虛擬形象技術,Facebook Reality Labs科研人員近期提出了一種利用逆向渲染框架來重建高保真3D毛發結構的渲染方案,特點是可模擬逼真的反光效果,以及準確且細密的毛流感,即使采用低成本攝像頭方案,也能捕捉和模擬逼真的毛發。該方案結合從多個角度和不同光線環境中拍攝的圖像,來生成逼真的毛發效果。

微信圖片_20210825162150

整個方案由兩個關鍵部分組成,一個是根據多視角圖像數據生成準確毛發結構的算法,可以根據每顆像素的亮度來渲染完整毛發模型的光影效果,盡可能與真實毛發外觀匹配。另外一個,是根據多視角圖像數據,通過簡化的BSDF模型(雙向散射分布函數)來預測毛發反光特性和外觀,接著再在3D毛流模型上疊加毛發表面的粗糙紋理,并渲染每一縷頭發的色彩。

經過驗證,該方案可為虛擬形象渲染和模擬逼真的毛發效果。

微信圖片_20210825162118

Facebook表示:隨著AR/VR技術發展,逼真的虛擬形象技術也變得越來越關鍵,而這將需要使用到計算機視覺和圖形渲染技術。在計算機圖形學領域,逆向渲染通常指的是尋找并匹配一種更接近真實圖像的渲染環境。這種渲染技術應用廣泛,它的好處是可以幫助3D藝術家減輕建模高保真虛擬形象的復雜工作。

微信圖片_20210825162145

在人像逆向渲染領域,已經有一些有效的方案,可以將從多視角采集光度數據,并合成足夠細致的結構和紋理,模擬皮膚的高光和次表面散射效果。目前,基于逆向渲染的面部和身體表面渲染效果已經足夠逼真,不過毛發效果依然有待優化,尤其是在渲染圍觀細節以及大量發絲的部分。

微信圖片_20210825162114

因此,Facebook科研人員提出用一種基于逆向渲染的框架,來重建細致的毛發結構和反光效果,以提升虛擬人像的逼真度。而硬件方面,需要在單一的NVIDIA Quadro P6000 GPU上運行,將合成的頭發圖像通過逆向渲染輸出3D模型,大約需要30分鐘。實驗過程在虛擬數據和模擬環境中進行,采用了24個虛擬攝像頭和36個點狀光源。

具體來講,首先重建毛發結構,細節至一縷頭發水平。與傳統3D建模技術相比,Facebook的逆向渲染方案利用3D技術重建一縷縷頭發,而不是重建3D表面紋理。這一過程中最大的挑戰是還原每個角度能捕捉的每顆像素,于是科研人員采用了一種圖形式的多角度立體拍攝方案,特點是僅需捕捉更少的角度,就能重建更多毛發細節。此外,配合lightcode加密方式,解決了毛發像素匹配問題和視角有限的問題。

微信圖片_20210825162129

接著,該方案會繼續預測毛發的反光性,考慮到頭發整體外觀是多角度光線在每根發絲上反光,而綜合在一起的效果(每根發絲直徑僅80微米),渲染完整的毛發反光度并不容易。于是,通過稀疏采樣的數據和BSDF模型,來預測頭發在多個角度的反光效果,以及毛發色彩的長度、粗糙度,以及高管的寬度。

微信圖片_20210825162125

經過對比,Facebook研發的逆向渲染方案可重建更多毛發細節,而且即使是翹起的少量毛發也能逼真還原,亮度和色彩接近原始數據。不過,還原卷發等不規則發型比較困難。

微信圖片_20210825162121

此外實驗結果顯示,該方案可還原的細節幾乎不受發色影響。對于色彩比較飽和的發色,渲染的毛發紋理不如原數據粗糙,也就是說缺少原始的自然感。而且,長發的渲染效果不如短發。

總之,考慮到此前Facebook Reality Labs的Codec Avatar方案自2019年公布以來,已經經過多次迭代和完善,因此相信這項毛發渲染技術未來也將繼續提升準確性和逼真感等細節,進一步完善AR/VR中的虛擬形象體驗。參考:FB

更多精彩內容,關注青亭網微信號(ID:qingtinwang),或者來微博@青亭網與我們互動!轉載請注明版權和原文鏈接!
青亭網

微信掃碼關注青亭網

青亭網

青亭 | 前沿科技交流群01

責任編輯:hi188
分享到QQ 分享到微信
切換注冊

登錄

忘記密碼 ?

您也可以使用第三方帳號快捷登錄

Q Q 登 錄
微 博 登 錄
切換登錄

注冊

无限资源高清版免费