Meta談VR兩大技術障礙：眼球追蹤和全身追蹤

在2021 Facebook Connect期間，該公司除了宣布更名Meta之外，確認了另外一條重要消息：代號為Project Cambria的頭顯確實存在。Meta首席執(zhí)行官馬克·扎克伯格（Mark Zuckerberg）表示，它將與Quest平臺兼容，但這款頭顯不是下一個Quest。

2018年9月，Oculus Quest正式發(fā)布，2019年5月21日，Oculus Quest開始發(fā)售，Quest 2于2020年9月正式發(fā)布。兩款機型中間間隔了兩年的時間，發(fā)售時間間隔一年零幾個月，根據時間來看Oculus的研發(fā)進度非常迅速，與HTC VIVE相比明顯更新周期更短。

既然Meta已經明確表示了Project Cambria的存在，很有可能已經在研發(fā)的后半階段，該公司表示將在今年推出，但是具體什么時間發(fā)布還是未知數。

1.Project Cambria

Project Cambria目前已經有過多次爆料，在Connect之前，用戶Bastian在Twitter上發(fā)布了一些揭示Project Cambria的視頻，據報道，這些視頻是在“Seacliff”固件中發(fā)現的，極有可能是內部稱號。

據悉，Project Cambria將會是一款高端VR一體機，與較為低廉的Quest2并非同級別產品，更不會成為Quest Pro或Quest 3。同時Project Cambria擁有Quest 2所沒有的功能：高分辨率顏色直通、眼動追蹤、面部追蹤、手柄無跟蹤環(huán)。

高分辨率顏色直通：目前Quest 2通過攝像頭可以在用戶脫離安全區(qū)后在頭顯內顯示黑白的現實世界，而Project Cambria將實現更高清、具有顏色的直通。實現虛擬世界與現實世界的真實切換，進一步保護用戶。

眼動追蹤：眼動追蹤是眾多VR廠商都在極力研發(fā)和使用的技術，目前國內HTC VIVE Flow、Pico Neo 3Pro等設備均有眼動追蹤版本可選。眼動追蹤被認為可以實現新的輸入方式，且可以提供注視點渲染。不過，目前為止，僅確認Cambria眼動追蹤將用于頭像功能，是否允許開發(fā)人員將其用于輸入和注視點渲染還有待觀察。

面部追蹤：Cambria擁有傳感器來記錄面部動作，同時面部追蹤也會與眼動追蹤共同用于頭像功能，在VR社交中3D化身將會更加真實。

手柄無跟蹤環(huán)：根據最先爆料視頻及渲染圖，Cambria手柄并無追蹤環(huán)，但在手柄本身擁有多個攝像頭，有可能用于光學追蹤。

屆時Project Cambria將與目前Quest系列區(qū)分開，Project Cambria將主打高端市場，Quest系列則將成為平民VR設備。

Project Cambria最為重要的是眼動追蹤及面部追蹤，且目前Meta同時正在研發(fā)全身追蹤。有開發(fā)者發(fā)現，Quest 2 Tracked Keyboard SDK Getting Started文檔頁面上出現了身體跟蹤支持的新選項。

2.Meta如何看待兩項技術？

Meta XR主管Andrew Bosworth近期針對眼動追蹤和全身追蹤發(fā)表看法，其認為眼動追蹤和全身追蹤是VR的兩大技術障礙。

Andrew Bosworth表示眼動追蹤還遠未成熟。Meta長期以來一直在研發(fā)眼動追蹤，以提高人們表達自己的能力，同時也用于注視點渲染。人與人之間的生物學差異非常大，尤其是散光或其他人的眼睛很難獲得全面覆蓋。覆蓋率意味著眼動追蹤適用于100%的用戶，對中心點渲染的要求特別高。

捕捉所有身體動作并將其轉移到虛擬現實中會有很多優(yōu)勢，與眼動追蹤一樣，可以實現更逼真的化身和新的交互形式。Bosworth表示對于人們設想的一些用例，可能需要對身體進行外部跟蹤。這里最大的缺點是需要更多組件，這意味著額外的成本和額外的設置時間。

針對Quest 2 Tracked Keyboard SDK Getting Started文檔頁面上出現了身體跟蹤支持的新選項，Andrew Bosworth稱其為時過早。

3.兩大技術難度

眼動追蹤與全身追蹤研發(fā)難度正如Andrew Bosworth所說，Meta正在全力研發(fā)，但是難度極高。Meta需要面對全球的VR用戶，需要考慮到不同國家不同人群的眼睛覆蓋率。

目前眼動跟蹤方法可以分為探查線圈記錄法、紅外線法、電流記錄法和視頻記錄法等等，每一種方法都擁有其優(yōu)缺點。足以證明眼動追蹤本身具有一定的難度和差異性，該技術已經發(fā)展到可以屏幕、網絡攝像頭和眼鏡中的眼動追蹤器來捕捉和測量眼睛位置和運動的程度。

運用在VR領域主要是瞳距的問題以及注視點渲染擁有難度，目前注視點渲染已經有Tobii等廠商研發(fā)成功。瞳距則成為了最難的研發(fā)障礙，目前還無法得知Meta會采用什么方案解決眼睛覆蓋率問題。

全身追蹤目前可以通過一些傳感器進行完成，但是大都采用外部設備連接進行追蹤，或者需要單獨攝像頭進行追蹤。

采用外部跟蹤設備操作過程繁瑣，并不適用于C端體驗，且外部設備一般很難實現輕量化等問題。而使用單個攝像頭捕捉畫面追蹤，極易造成跟蹤失敗。

4.Meta眼動追蹤及全身追蹤

未來Meta將會在眼動追蹤及全身追蹤進行不斷地完善，目前已知Meta正在研發(fā)觸覺手套等設備，以實現更加真實的VR體驗。但是原型手套目前是使用半自動化工藝制造的，需要熟練的工程師和技術人員制造子系統并大部分手工組裝手套。

Meta提醒說，大規(guī)模生產這樣的手套需要全新的自動化制造技術。理想情況下，為了獲得最大的觸覺精確度和舒適度，應根據買家的特定手型和尺寸定制手套。

所以觸覺手套的成本居高不下，而眼動追蹤及全身追蹤則很有可能更早用于VR設備。

Andrew Bosworth既然已經提及，說明眼動追蹤及全身追蹤極有可能全部運用在Project Cambria，不過依舊存在技術障礙。Meta產品發(fā)布需要面向全球用戶，所以定會在產品及技術成熟之后推出。

5.全文總結

目前的眼動追蹤和全身追蹤已經在多個領域應用，愛荷華州立大學商學教授喬伊·F·喬治表示：“如果人們無法專注于會議上正在發(fā)生的事情，那么也許有一種方法可以改進平臺的設計，以保持他們的注意力并使會議更有成效。”

該教授進行了一項眼動追蹤研究，根據眼動追蹤技術表明參與者會注意說話的人，但與大型小組會議相比，在小組視頻通話期間，他們的視線更多地從電腦屏幕上移開。

眼動追蹤也被用于市場研究、網站測試、游戲和用戶體驗、學習和教育、神經科學和心理學、醫(yī)學研究等領域。而在XR領域，據稱PSVR2也將應用眼動追蹤技術。

未來的眼動追蹤和全身追蹤會更多的應用在XR領域，除了上述的功能之外，眼動追蹤和全身追蹤會更加豐富VR/AR體驗。同時，眼動追蹤和全身追蹤也會應用在其他領域，包括辦公、娛樂等等。

隨著人工智能的不斷前進，眼動追蹤和全身追蹤也會與AI技術結合，但是全面使用眼動追蹤和全身追蹤的那一天還需要走很長的路，這不僅僅是Meta需要面對的技術障礙，同時是我們需要面對的技術障礙。