在FBEC2021“Let'sMetaverse?2021元宇宙峰會”上,Unity大中華區平臺技術總監楊棟以“Unity引擎與元宇宙的技術實現”為主題發表了演講。楊棟從技術的角度分析,從跨平臺應用、寫實類/風格化3D內容、多人聯網體驗、虛擬聯接現實四個角度切入,分享引擎技術發展並介紹Unity技術的發展方向。
以下為演講實錄:
感謝大家來聽我的演講,我今天的主要內容是講Unity引擎與元宇宙的技術實現。
剛才兩位嘉賓講的是和硬件相關,我講的是和軟件相關,也就是內容創作相關的內容。
所有的事物——無論是現在用的因特網,還是正在說的元宇宙,它們都是發展到壹定程度以後才會出現的。
今天之所以能夠在這裏討論元宇宙,我覺得是因為實時渲染3D內容創作的技術門檻已經普及到了壹定的程度。
在這張圖裏面(PPT圖示):
1.從2D到3D的趨勢非常明顯,現在主要的內容都是3D的內容。比如10年前,2009年就開始使用引擎相關的產品,當然我現在用的是Unity。
2.從離線到實時的轉變也是非常的明顯,現在所有的3D內容裏,有非常多非遊戲的應用也開始用到實時3D的技術。
3.從個體到社交的交互。我相信大家都玩過聯網類的遊戲,無論是古裝,還是未來風格,本質上是社交類的遊戲。
4.從被動的變成交互式的,也就是主動的體驗,通過XR相關的設備來進行。
作為十幾年引擎方面的工作者,我想從4個方面具體來聊壹下引擎技術發展,從技術的角度和大家分享,元宇宙在我看來到底是怎麽壹回事?
我認為有4點:
1.跨平臺的應用。
2.寫實類、風格化3D內容
3.多人聯網體驗。
4.虛擬聯接現實。
跨平臺的應用,已經廣泛應用於各行各業。最直接的感受就是遊戲,再是社區、電子商務以及各種各樣的體驗。這個體驗,可以是商場裏面的VR體驗,也可以是在工廠車間裏面的工業4.0的體驗。使用AR、VR、MR方式來做各種各樣的培訓,甚至在產線上做零件的裝配,都已經有所應用。
遊戲方面,大家熟悉的《原神》可以支持更多的平臺,所以遊戲可以持續運維下去。這是壹款真正意義上的跨平臺遊戲,有可能妳做壹款遊戲,可以放到不同的平臺上,但賬號不打通,不能在同壹個世界體驗這些東西,但《原神》做到了這壹點。
如果我們要開發跨平臺的應用,Unity目前支持28個平臺。這意味著我們可以用Unity去創作所有人都可以體驗的內容。因為我們每壹個人用的設備都不太壹樣,如果妳是做IT行業,或者是跟計算設備靠得比較近的人,妳使用的設備會非常多。妳必然需要內容創作平臺——能夠讓妳在創作各式各樣的平臺上能夠運行內容。我們想讓它觸達所有人,必然要能夠支持所有的設備,這是非常重要的壹點。
目前,Unity的手遊方面占比最大。《空戰獵鷹》這款遊戲,我為什麽放這個案例出來?它有壹個特點,它是壹位開發者開發的,是壹個人用Unity引擎完成了所有的開發,使這款遊戲成為了壹款首發的爆款遊戲。
非遊戲行業也有廣泛的應用,我們推廣了壹個產品,叫UnityForma。可以把產品的三維模型導入到這個界面,可以通過挑選不同的鏡頭出影片,最後導出做成PC端或者是MAX可執行的交互式應用。
關於多年聯網的體驗,我們拿MeetinVR舉例——通過多人聯網的方式,進行線上的會議,這比普通的視頻會議更加有交互式的體驗。
虛擬聯接現實,裏面主要是兩個內容:
1.數字化身,也就是數字人。這個畫面上,右邊有非常寫實類的人類形象,中間是比較卡通類的,下面是小水滴。雖然形象只是小水滴,但通過AI驅動的表情及眼神,我們可以感受到它的真實性。所以,無論是虛擬的,還是寫實的,還是卡通的形象,最重要的是讓人感覺到它是在跟妳交互,這點實時交互3D內容就能夠達到。
在《異教徒》的影片裏,我們通過把壹個演員的形象掃描下來,把表情拍攝下來,再導入到Unity裏,做成大家看到的形象(PPT圖示)。這個數字人的細節,全身有超28萬個三角面。大家所看到的視頻是在我的筆記本電腦上運行的,我的筆記本顯卡相當於PC上的2060的算力性能,可以實時運行得非常的流暢,甚至可以動態改變它的視角。
這個數字人有非常大的特點,壹是皮膚渲染,二是眼球渲染。具體的技術內容,大家可以去搜索我們的公眾號查看,Unity有公開的、免費學習的資源可以下載的,如果妳想去要Unity的版本,可以在官網上直接下載。
(PPT圖示)這個鄰家女孩的形象,用的設備非常地簡單。頭發用了壹套插件渲染,而我們現在有完整的基於發絲的渲染方案。除這種寫實類的之外,也有二次元相關的,比如B站,現在有十幾二十個虛擬偶像都在運維中。
這個數字人是今年發布的數字人1.0版,是在國內做的項目。用4D掃描的方式將壹位同事轉化成了數字人。這所用到的技術除了頭發之外和前面《異教徒》是壹樣的,頭發的制作是用到了我們自行開發的發絲系統,而不是傳統的卡片式的渲染,可以將發絲壹根根渲染出來,然後非常精確的移動,包括物理碰撞。
我們希望把門檻降低,讓大家用簡單的設備就能把數字人做出來。
2.數字孿生。
我們有非常多的例子,比如國內海爾做了生產線上的數字孿生,左邊是在Unity裏進行操控,右邊是真實的機械臂。上海的國際汽車城自動駕駛仿真平臺也用到了我們的數字孿生技術。
我們的技術發展方向:
1.性能高效。這主要是面向數據的編程模式,裏面有三套技術,壹是JobSystem,二是ECS(EntityComponentSystem),三是BurstCompiler。
2.畫面精美。現在有28個平臺,所以必須要支持非常多的渲染管線,因為不同的平臺,渲染的能力是完全不壹樣的,我們有:壹是URP通用渲染管線,支持所有的平臺;二是HDRP高清渲染管線;三是實時光線追蹤。
3.真實模擬。目前有UnitySimulation和MachineLearningAgents。
如果大家想了解更多的內容,可以到我們的官方渠道去了解更多的信息。今天的分享就到這裏,謝謝大家!