在Meta公司Reality Labs部門實驗室中，有一面原型展示墻，陳列了實驗室設(shè)立七年來所開發(fā)的數(shù)十款VR眼鏡原型，有的輕巧如太陽眼鏡，但更多是笨重，大小不一的設(shè)備。這是去年改名為Meta的臉書，最重要的元宇宙研發(fā)基地，Meta創(chuàng)辦人暨首席執(zhí)行官扎克伯格強調(diào)，我們的目標(biāo)是打造出通過視覺圖靈測試的次世代VR體驗，這是目前還不存在的未來技術(shù)。這是第一次，Meta詳細(xì)披露了打造真實感VR眼鏡的四大挑戰(zhàn)和最新進展。
扎克伯格去年將臉書改名為Meta，來宣示全力進軍元宇宙的企圖心。VR眼鏡是Meta實現(xiàn)元宇宙大夢的關(guān)鍵設(shè)備，2015年就發(fā)布了所并購子公司Oculus的首款虛擬現(xiàn)實頭盔Rift，而Oculus團隊后來也成了Meta的VR研發(fā)部門，也就是Reality Labs。
今年2月，Meta公布去年第四季財報時，也首度公布了Reality Labs部門的營收情況，雖然該季Meta的Reality Labs營收高達8.8億美元，但最后還是虧損了33億美元，而且逐季擴大中。最近更傳出Reality Labs部門將重整，要終止或延后部分項目，專注在核心產(chǎn)品開發(fā)。這些負(fù)面消息也引發(fā)外界對Meta元宇宙布局的疑慮。最近，Meta首度公開了Reality Labs部門歷年的研發(fā)成果，來消弭外界對發(fā)展不順的質(zhì)疑。
Meta元宇宙的戰(zhàn)略目標(biāo)
Meta元宇宙的戰(zhàn)略目標(biāo)是，打造出媲美真實世界的虛擬世界，扎克伯格指出，如果有一天VR眼鏡可以媲美人類視覺的效果，可以實現(xiàn)“存在感”，讓你感覺好像跟另一個人實際待在同一個地方的感覺，可以幫助人們更好的交互，這是非常重要的事。不管是，你遠方家庭成員，或是項目協(xié)作的對象，你喜歡的藝術(shù)家，都可以讓他們跟你有同在一個物理空間存在的感覺。
為何要打造媲美真實的3D感受，Meta旗下Reality Labs首席研究員Michael Abrash指出，真實的3D可以讓我們體驗，今天在虛擬世界體驗不到的感覺，尤其是與其他人的交互體驗，“必須改變感受系統(tǒng)，來趨近真實的情況，才能提供真正的臨場感。”他更比喻，這樣的VR眼鏡更可以創(chuàng)造出協(xié)同合作的可能性，能做到項當(dāng)年打字機或計算機帶來的產(chǎn)業(yè)變革一樣。
不只如此，“一旦可以打造出真實感的VR顯示器，就可以創(chuàng)造新一代的視覺體驗?！痹瞬裱a充，文化會適應(yīng)科技所帶來的深度和豐富性，當(dāng)新一代科技出現(xiàn)，就會帶來新的藝術(shù)和表現(xiàn)形式，每一個人都希望被了解，這個真實感VR顯示器，會成為一種強大的工具，可以用一種近似現(xiàn)實的方法來表達自己。
不過，扎克伯格也坦言，要讓VR世界跟現(xiàn)實物理世界非常相似，是一件非常困難，但很有趣的問題，“這涉及我們在物理世界如何發(fā)現(xiàn)事情，包括眼睛如何處理信號，以及大腦如何解讀的挑戰(zhàn)?！庇绕?，人類視覺是高度集成的結(jié)果，不能只是看到一個高度真實的圖像，還需要很多其他的視覺線索，才會有一種很真實的感覺，“這是與只看計算機屏幕或電視屏幕，截然不同的感受?！?/p>
不只是這些視覺線索的不同，除了提供3D立體圖片之外，觀看傳統(tǒng)屏幕時的對焦是固定距離，但真實世界，眼睛移動過程中，會針對不同的物體對焦。另外，顯示器也必須提供更廣大的視野，提供比傳統(tǒng)屏幕高非常多的分辨率，甚至，顯示屏幕必須能夠模模擬實世界的亮度和動態(tài)范圍，比現(xiàn)在的高清電視還要高10倍，顯示畫面還能夠快速延遲反映的眼球的動作，當(dāng)用戶轉(zhuǎn)頭時，可以很快校正畫面的失真。這些功能都需要電力支持，尤其要支持GPU的運算，也要避免芯片發(fā)熱帶來的不舒適感。最后，所有這些組件都要安裝到一個大小適合的設(shè)備中。
“只有一個部分沒有做好，實境感覺就會消失，這種實境破壞感，比2D平面更明顯?！痹瞬裉寡?，這就是真實感VR眼鏡的嚴(yán)峻挑戰(zhàn)，需要軟件、芯片技術(shù)、傳感器等各種技術(shù)的合作。
參考圖靈測試，提出視覺圖靈測試來驗證VR眼鏡體驗
為了用來判定VR眼鏡的效果，Michael Abrash指出，Meta內(nèi)部提出了“視覺圖靈測試”的觀念，“我們的目標(biāo)就是希望通過視覺圖靈測試?！盡eta參考了圖靈測試的做法，以“能不能分辨不出來這是人或計算機”來判定計算機是不是達到像人一樣的程度，視覺圖靈測驗就是，人類看到的VR世界，能不能跟真實世界一樣，分辨不出兩者的差別。而且這個測試要以人類主觀的感受來測試，而不是技術(shù)的衡量標(biāo)準(zhǔn)。不過，扎克伯格坦言，目前沒有任何VR設(shè)備能夠通過這個測試。
真實VR眼鏡的第一個挑戰(zhàn)是超高分辨率
很多人提到VR眼鏡的品質(zhì)，就會提到分辨率，扎克伯格表示，分辨率是最重要議題，但VR眼鏡的分辨率問題跟傳統(tǒng)的分辨率挑戰(zhàn)不太一樣。在VR眼鏡中的視野，其實比現(xiàn)在最寬的屏幕還要更大，他預(yù)估，要達到1.0視力效果，就得在整個視野都都達到超過8K的分辨率，
Meta自己設(shè)置的目標(biāo)是，要達到視網(wǎng)膜分辨率效果的VR眼鏡，換句話說，每一度視野要提供到60個像素的分辨率，若是眼睛全視野都達到這個分辨率，就得比現(xiàn)有顯示器還要多好幾倍的分辨率才夠。
不過，“人類視覺不需要所有像素都存在，所看到的完整視野中，不需要每一樣?xùn)|西都對焦，只需要對焦的物體有高分辨率，而視野邊緣的分辨率可以稍低，但是，現(xiàn)在，任何一款顯示器都沒有辦法做到這件事?！痹瞬裾f。
臉書曾有一款原型產(chǎn)品，稱為Butterscotch，可以提供超高分辨率，來達到1.0視力的文本識別效果，這是2015年時的Rift眼鏡或是當(dāng)前的Quest 2眼鏡就都達不到的效果，可以看清楚視力檢測表上1.0的文本。
Butterscotch是Reality Labs實驗室定制的原型，不是實際的產(chǎn)品，但是可以達到視網(wǎng)膜分辨率，是現(xiàn)在Quest 2虛擬現(xiàn)實眼鏡的2.5倍分辨率，但這款原型眼鏡的解法是，通過犧牲視野來達到更高的分辨率，通過混合鏡片，將視野的寬度縮小到Quest 2視野寬度的一半，才得到比較高的分辨率，可以看到非常細(xì)節(jié)。
扎克伯格自己也曾測試過這款視網(wǎng)膜分辨率的VR眼鏡，他說：“可以看到非常銳利的圖像，體驗很好，但沒辦法賣，因為設(shè)備的重量很重，而且圖像過于銳利，戴久了也會不舒服?！?/p>
通過這個原型的實測，一方面可以看到超高分辨率VR眼鏡的模樣，也讓Meta的Reality Labs團隊意識到，真實的圖片需要達到這樣的分辨率，扎克伯格指出，顯示器科技會一代一代進步，幾年后就會達到。
不過，新時代視覺體驗的挑戰(zhàn)不只是分辨率而已，甚至還有一些平面顯示設(shè)備不會出現(xiàn)的挑戰(zhàn)。例如，VR眼鏡獨特的挑戰(zhàn)是VR所用的鏡片是曲線鏡，會造成圖片變形，就得靠軟件來校正，但是，這個變形還會隨著眼睛移動而改變，長時間佩戴看到失真圖片，會造成不舒服、疲勞的感覺。另一個挑戰(zhàn)是對焦的挑戰(zhàn)，眼睛會想要對焦物體，但是，顯示器是以固定距離來投影，就得解決不同距離的聚焦問題。
動態(tài)對焦是第二個挑戰(zhàn)
2015年開始銷售第一款VR頭盔Oculus Rift的時候，當(dāng)時，Meta就發(fā)現(xiàn)到對焦距離的挑戰(zhàn)。因為當(dāng)時是第一次在VR眼鏡的視野中出現(xiàn)了手，就遇到了移動過程的對焦挑戰(zhàn)。因為手會在VR世界中揮動，就會出現(xiàn)對焦距離不固定的問題。
現(xiàn)實世界的眼球，會不斷改變形狀來應(yīng)對我們看的距離和成像，但是，當(dāng)前的VR光學(xué)系統(tǒng)采用的是固定不能彎曲的實體透鏡，焦點固定在約5～6英尺的位置，方便用戶看到比較遠的地方。在真實世界中，人類的眼睛可以捕捉到不同深度和位置的各種微妙線索，但在
VR眼鏡中，若眼睛試圖聚焦觀看近處或遠方的物體，卻無法做到時，就會覺得有點模糊也會讓眼睛疲勞，這是3D眼鏡跟2D顯示器的差別，用戶觀看2D顯示器時，不需要真的觀看到很近或很遠的物體。
為了解決這個問題，Meta的解法是動態(tài)移動鏡片，來改變景深，就像是相機自動對焦的感覺。后來，Meta用了1個月的時間，做出了第一款變焦的VR眼鏡原型，可以提供正確的焦深，尤其是看近的對象，會更清楚。
Meta在2015年打造出的第一款變焦VR眼鏡原型，裝上馬達來改變顯示器鏡頭位置，非常笨重，但從此確定了變焦是可以更接近真實的未來技術(shù)目標(biāo)。
這個VR眼鏡原型裝上了馬達，來調(diào)整顯示器的鏡頭位置，雖然這是一款非常笨重的眼鏡，不是可以上市的產(chǎn)品，但卻讓研究團隊大受激勵，讓他們體驗到未來可以達到什么樣程度的現(xiàn)實程度，所以戴過這款原型的人都同意，可以讓比較近的物體看起來很銳利，隔年，
Meta進一步打造了一款可以關(guān)注眼動，根據(jù)眼球運動來進行變焦的原型。通過機械變焦的顯示器，能夠提供適當(dāng)?shù)木吧?，搭配眼球關(guān)注技術(shù)，針對用戶在看的區(qū)域，即時提供失真校正，補償這個區(qū)域的放大效果，只有用戶看到的物體，會比較清楚，就像在真實世界，你聚焦觀看的物體會更清楚一樣。
“這個早期原型，讓我們意識到，我們做對事情了，變焦真的可行，可以提供更吸引人的體驗?！盧eality Labs Research顯示系統(tǒng)部經(jīng)理Douglas Lanman回憶。通過原型確定變焦VR眼鏡發(fā)展方向，下一步就是要進行用戶研究，通過更有說服力的科學(xué)實驗來證明。
開發(fā)輕巧變焦VR眼鏡原型，展開用戶體驗研究
Reality Labs Research FAIR項目經(jīng)理Marina Zannoli先前在Reality Labs Research顯示系統(tǒng)團隊中擔(dān)任視覺科學(xué)家，也是負(fù)責(zé)新時代VR眼鏡第一次用戶研究的負(fù)責(zé)人。
為了了解變焦如何提升VR的體驗，必需要先打造出一款更小更輕的眼鏡設(shè)備，Marina Zannoli解釋，重量和形式必須接近Oculus Rift，但不能有變焦馬達的噪音和震動，后來，就發(fā)展出了Half Doom Zero這款變焦VR眼鏡。
Half Doom Zero眼鏡比原本變焦眼鏡的原型小了4倍，而且完全跟當(dāng)時所有Rift游戲兼容，也有非常好的對焦能力。在2017年春天，Meta找了大概60個受試者，來體驗Half Doom Zero眼鏡，讓他們做了兩天的測試，來比較調(diào)制焦系統(tǒng)，跟定焦系統(tǒng)的差別。
這個研究也準(zhǔn)備了特定的VR展示視頻，并鼓勵測試者觀察他們周邊很近的東西，因為這是過去VR世界的用戶會避免做的事，來自原有定焦系統(tǒng)VR眼鏡的限制。
2017年春天Meta找了60個受試者體驗動態(tài)變焦的VR眼鏡，Half Doom Zero眼鏡，這是第一次的大規(guī)模VR原型用戶體驗測試。
經(jīng)過用戶實驗后發(fā)現(xiàn)，使用變焦系統(tǒng)比較不會累，也比較不會出現(xiàn)模糊的視線，用戶更容易跟蹤對象，在VR世界中閱讀文本也更比定焦系統(tǒng)更容易，可以對對象的反應(yīng)更快速。雖然這款VR眼鏡仍有噪音和震動的問題，不過，這次用戶研究，多數(shù)人可以接受噪音和震動下的變焦系統(tǒng)。
“大部分的人都喜歡變焦，比較不喜歡定焦?！盡arina Zannoli指出，到了2017年夏天時，我們就得到比較確定的證據(jù)，變焦不只有助于未來可以通過視覺圖靈測試，而且可以帶給VR眼鏡其他好處，包括性能的幫助（不需要全視野超高分辨率）和舒適性?！癏alf Doom系列是一個轉(zhuǎn)淚點，不只發(fā)展出了非常先進的變焦技術(shù)，也提供了一種通過視覺圖靈測試的原型測試模式?！?/p>
從此，先做出原型來驗證，再發(fā)展輕巧版本進行用戶實驗，來研究如何打造下一個原型，“這就變成了我們的標(biāo)準(zhǔn)流程?！盡arina Zannoli表示。Meta的Reality Labs實驗室開始大量運用這個原型實驗的做法，來嘗試解決不同的VR眼鏡挑戰(zhàn)，這也是為何在7年中會開發(fā)出近30款原型VR眼鏡的緣故。
有這個變焦系統(tǒng)更舒適的發(fā)現(xiàn)之后，Meta開始專注于減少設(shè)備大小和重量，以及想辦法擴大VR眼鏡的視野，也制作了一系列的原型，后來更使用了液晶透鏡的電子變焦鏡頭，讓鏡片組件的體積縮小了許多，后續(xù)也持續(xù)改良變焦硬件。
第三個挑戰(zhàn)：變焦帶來更復(fù)雜的失真校正挑戰(zhàn)
解決了變焦鏡頭的問題，還要解決其他問題，另一個問題就是VR光學(xué)失真的問題。
先前就提到VR眼鏡的鏡片是曲面鏡，原本就會出現(xiàn)圖片失真的問題，VR眼鏡大多通過軟件來修正這個圖片的失真?？墒且坏┎捎昧俗兘圭R頭，要隨著用戶的眼球來修正聚焦的物體，聯(lián)動到虛擬圖片的失真情況，也會隨著眼睛移動，查看不同方向而發(fā)生不同的失真變化。
可是，Michael Abrash指出，既有失真修正算法是相對靜態(tài)的做法，遇到眼睛要不斷移動來瀏覽完整場景的時候，無法完美發(fā)揮作用，因為靜態(tài)軟件校正系統(tǒng)無法產(chǎn)生持續(xù)穩(wěn)定的圖像?！拔覀円芯康氖茄矍蜿P(guān)注的失真校正，必須進行動態(tài)校正，隨著眼睛來進行，在不同的變焦技術(shù)，在不同景深上發(fā)揮作用，而且校正的速度還要快讓人難以發(fā)現(xiàn)，這是很難解決的問題?！?/p>
要解決失真的問題，需要很長的時間，一方面必需要制造出研究問題需要的鏡片，可能花上好幾個月才能完成，還要制造顯示器和對應(yīng)的VR系統(tǒng)。為了解決耗時的問題，Meta改用大量眼球運動的記錄，來設(shè)計模擬器，搭配3D電視技術(shù)，來模擬研究不同光學(xué)設(shè)計和失真校正算法，不用建造真正的頭盔，“通過這種快速原型制作能力，可以在幾分鐘內(nèi)探索不同動態(tài)失真校正的情況。”Michael Abrash表示。
他指出，眼球關(guān)注是被低估的挑戰(zhàn)，一方面要找出用戶對焦的地方，來決定要渲染的圖像重點，另一方面，也要考慮熱量跟功率，如果只需要渲染出用戶需要關(guān)注的細(xì)節(jié)就好，但降低其他部分的圖像分辨率，“這或許是一個非常重要的優(yōu)化做法?！蹦壳霸赒uest 2的軟件也做了不少失真校正的彌補，但要滿足真實感VR眼鏡需要的失真校正效果，還是不太夠。
可以讓3D場景栩栩如生的第4項挑戰(zhàn)：HDR
Michael Abrash表示，Meta研發(fā)VR眼鏡七年來所遇到的顯示系統(tǒng)挑戰(zhàn)，除了分辨率、變焦到失真校正的課題，還有一個很重要的挑戰(zhàn)就是HDR（高動態(tài)范圍），這是涉及亮度和對比的問題，亮處夠亮可以感覺到顏色清楚，而暗處夠暗才會讓場景變得栩栩如生。當(dāng)前的挑戰(zhàn)是，“屏幕生動的程度，跟真實世界相比，有相當(dāng)大的差異?！蹦壳案叨穗娨暤牧炼瓤梢赃_到1萬尼特，電視產(chǎn)業(yè)也往HDR的方向前進，但當(dāng)前Quest VR眼鏡的亮度只有100尼特，要提供HDR的亮度，也需要在電池跟重量之間取得平衡。
Meta曾打造出第一款HDR的VR眼鏡Starburst來測試，不管重量和電力，放進高亮度的屏幕，來進行更多研究，了解HDR的體驗會是如何。原型測試的目的是為了找出可以讓視覺更加真實的技術(shù)方向。
Reality Labs Research研究總監(jiān)Nathan Matsuda表示，通過Starburst，可以創(chuàng)造出在室內(nèi)看到的亮度，來研究基本的發(fā)現(xiàn)問題，了解未來目標(biāo)HDR應(yīng)該要達到什么程度。目前發(fā)現(xiàn)，若可以產(chǎn)生比較好的焦深，營造真實生動的感覺，就有機會實現(xiàn)一個夠漂亮，夠復(fù)雜的VR環(huán)境，這還需要很多代的演進，才能達到?！拔覀冋⑦@些技術(shù)集成到一個更小巧，更便宜的眼鏡中?！盢athan Matsuda表示，每次創(chuàng)建一個新的原型，不管多不實際，但都可以讓我們理解，人們?nèi)绾斡^察周圍的世界，以及科技可以如何擴大人們的視覺系統(tǒng)。
Michael Abrash指出，變焦和視網(wǎng)膜分辨率可以打開很多種可能性，但也會帶來開發(fā)者的挑戰(zhàn)，越真實的內(nèi)容，制作難度就越高，如何協(xié)助人們創(chuàng)造這樣的環(huán)境，能夠炫染出可以保真的程度，AI技術(shù)將是實現(xiàn)這個目標(biāo)的關(guān)鍵技術(shù)，另一個策略是先在真實世界中架構(gòu)出場景，再將場景帶來虛擬世界。
在Meta的Reality Labs團隊中還有一組人馬，負(fù)責(zé)集成科技和新的光學(xué)組件，他們的挑戰(zhàn)就是要盡可能減少這些光學(xué)組件的體積。Reality Labs Research研究員Andrew Maimone指出，不管是分辨率、對焦、失真或HDR的技術(shù)，最后都要集成到VR眼鏡中，我們的目標(biāo)希望更輕薄短小，人們可以使用更長的時間。
在VR光學(xué)組件中有三個要素，光源、成像的顯示版和曲面鏡片。過去VR眼鏡大部分的空間是消耗在鏡片和顯示版之間，Andrew Maimone指出，后來改用偏光折射可以進行光學(xué)對折，技術(shù)上稱為餅干式鏡筒，可以大幅減少厚度，只剩下曲面鏡片本身的厚度。后來，Meta引進了全像投影的餅干式鏡筒，簡稱HoloCake，同樣采用餅干光學(xué)鏡頭的設(shè)計，將鏡頭改為全像鏡片，就可以得到更薄、更平的鏡頭，能夠大大減少VR光學(xué)組件的大小，進一步能減少整體眼鏡的重量，不過，“全像鏡片非常特殊，得使用激光作為光源，才可以描述更多顏色，提供更好視覺體驗。”
傳統(tǒng)VR眼鏡空間是消耗在鏡片和顯示版間，Meta改用偏光折射進行光學(xué)對折，技術(shù)上稱為餅干式鏡筒，大幅減少了厚度，更將鏡頭改為全像鏡片得到更薄更平的鏡頭（圖右）。
最新VR原型HoloCake 2采用全像技術(shù)和激光光源
Meta也展示了他們目前最先進的VR設(shè)備原型HoloCake 2，可以支持任何計算機來運行，引進了兩個技術(shù)，第一是引進了全像技術(shù)，可以讓用戶感受到有點像是實際成像的樣子，也能減少距離造成的成像差異效果，不過，要提供全像成像需要特殊光源，HoloCake 2采用了特別的激光光源，不同于今天VR眼鏡用的LED光源。Andrew Maimone指出，激光光源并不神奇，但在消費級產(chǎn)品中，找不到性能和價格能夠兼顧的合適產(chǎn)品，還需要大量工程研究，才能打造出符合需求的消費型激光光源，能夠安全、有效的裝在輕薄的VR眼鏡上。
Meta目前最先進的VR設(shè)備原型HoloCake 2，采用餅干式全像技術(shù)，也需要搭配特殊激光光源來提供全像呈現(xiàn)所需，不同于今天VR眼鏡慣用的LED光源。
扎克伯格還展示了一款VR眼鏡的原型設(shè)計Mirror Lake，集結(jié)了Reality Labs部門過去7年的研究成果，采用了HoloCake 2的顯示系統(tǒng)，包括了變焦鏡頭、眼球關(guān)注、失真校正技術(shù)、餅干鏡頭設(shè)計等，要集成到一個小巧、方便穿戴的護目鏡眼鏡設(shè)計，來提供混合實境的真實3D顯示方式。不過，Mirror Lake只是一個概念設(shè)計，Meta還沒有真正實現(xiàn)這樣的架構(gòu)。
扎克伯格坦言，Mirror Lake還需要好幾年才能實現(xiàn)?！耙驗檎鎸嵏蠽R是一個全新的技術(shù)，不是改進手機或電視的顯示器，如果可以實現(xiàn)，將會帶來VR體驗非常大的改變。”
扎克伯格展示一款VR眼鏡原型概念設(shè)計Mirror Lake，集結(jié)了過去7年的研究成果，集成到一個小巧、方便穿戴的護目鏡眼鏡設(shè)計，來提供混合實境的真實3D顯示方式，但目前還沒實例。
Facebook
專欄
閩公網(wǎng)安備 35010202001226號
