從收購(gòu)Oculus VR至今，F(xiàn)acebook已經(jīng)走過(guò)7年。這一路走來(lái)，公司將VR“游戲世界”擴(kuò)容為“虛擬世界”，用“元宇宙”的名號(hào)叫出響來(lái)，并將Meta扶持為公司大icon，力證7年之路，若非暗癢，則為裂動(dòng)。觸覺(jué)手套落眼于2030年，旨在解決元宇宙的核心挑戰(zhàn)之一：我們將如何接觸虛擬世界？
從今年3月開(kāi)始，Meta(原名Facebook)的現(xiàn)實(shí)實(shí)驗(yàn)室 (RL) 就開(kāi)始了觸覺(jué)感知手套的新項(xiàng)目，直到昨天，Meta正式推出觸覺(jué)感知手套，并分享了關(guān)于軟體機(jī)器人、微流控處理器、手部跟蹤、觸覺(jué)渲染和感知科學(xué)方面的工作進(jìn)展。
這款吊足了8個(gè)月胃口的觸覺(jué)手套到底什么樣？是否如他們所說(shuō)，“這將是2030年的人與世界無(wú)接觸式交互的未來(lái)技術(shù)”？
Meta表示，目前這款手套可以在虛擬世界中再現(xiàn)現(xiàn)實(shí)生活中的一系列觸覺(jué)感覺(jué)，包括模擬人手撫摸材質(zhì)紋理的感覺(jué)、壓力反饋以及振動(dòng)反饋。
在展示圖中，可以看到這個(gè)手套設(shè)置了4道氣囊墊，每道約有15個(gè)，沿手指呈脊?fàn)罘植?。背部有白色的傳感器，可追蹤手指在空間中的移動(dòng)情況。并且手套內(nèi)外兩側(cè)也設(shè)置了多根傳感器，可動(dòng)態(tài)捕捉佩戴者的手指彎曲狀態(tài)。
當(dāng)戴上手套進(jìn)入VR或AR體驗(yàn)時(shí)，一個(gè)復(fù)雜的控制系統(tǒng)會(huì)調(diào)整氣囊的充氣水平，在手上的不同部位產(chǎn)生不同的壓力。比如，如果你用指尖觸摸一個(gè)虛擬物體，會(huì)感到物體壓迫手部皮膚，而如果你握著一個(gè)虛擬物體，手指的驅(qū)動(dòng)器就會(huì)變硬，產(chǎn)生一種阻力感。這些感覺(jué)與視覺(jué)和聽(tīng)覺(jué)感知共同作用，從而產(chǎn)生身體與虛擬物體接觸的“錯(cuò)覺(jué)”。
究其根本，這項(xiàng)技術(shù)到底新奇在何處？作為元宇宙的“頭號(hào)玩家”，Meta的技術(shù)與其他玩家有何不同？
如何增強(qiáng)人與虛擬世界的聯(lián)系？
Reality Labs 的負(fù)責(zé)人Sean Keller 說(shuō)，他們一直在推進(jìn)關(guān)于AR/VR 交互和感知輸入輸出的研究，為下一個(gè)計(jì)算時(shí)代構(gòu)建傳播界面：即推動(dòng)跨觸覺(jué)、肌電圖輸入、軟機(jī)器人、設(shè)計(jì)、感知科學(xué)、應(yīng)用機(jī)器學(xué)習(xí)等領(lǐng)域的研究。
自2014年收購(gòu)Oculus VR公司以來(lái)，7年時(shí)間里，Meta的現(xiàn)實(shí)實(shí)驗(yàn)室(Reality Labs)一直在開(kāi)發(fā)虛擬游戲環(huán)境，同時(shí)也在開(kāi)發(fā)更加適配游戲環(huán)境的可穿戴設(shè)備。
最初是在Quest 上建立手部追蹤，從而操縱虛擬物體，但在實(shí)際體驗(yàn)中并沒(méi)有建立手部感覺(jué)。
在 2015 年，實(shí)驗(yàn)室又開(kāi)發(fā)了第一個(gè)觸覺(jué)原型：一根帶有執(zhí)行器的手指，但劣勢(shì)明顯，缺少整體的手部感知。
在今年3月，實(shí)驗(yàn)室又推出手腕腕帶，通過(guò)手部肌電(electromyography, EMG)傳感器平移電機(jī)神經(jīng)信號(hào)，將手腕到手的動(dòng)作指令轉(zhuǎn)化為數(shù)字指令，從而動(dòng)態(tài)化地適應(yīng)虛擬環(huán)境。這項(xiàng)技術(shù)大大推進(jìn)了感知輸入的研究進(jìn)程，但在感知交互上，腕部感知也對(duì)更加系統(tǒng)的“抓”、“握”等力度感知繞道而走。
而且，從眾多進(jìn)場(chǎng)的玩家來(lái)看，模擬觸摸并非新研究，比如將 VR 與控制器振動(dòng)結(jié)合起來(lái)，也能讓人們感覺(jué)像在觸摸物體。許多公司都在研究可穿戴設(shè)備，既可以跟蹤用戶手部動(dòng)作，也可以提供觸覺(jué)，比如溫度感知。但這并不是Meta現(xiàn)實(shí)實(shí)驗(yàn)室的首要目標(biāo)。
隨著眾玩家的介入，非核心技術(shù)一定會(huì)在第一時(shí)間讓短視玩家的技術(shù)壁壘蕩然無(wú)存。能復(fù)刻現(xiàn)實(shí)世界的觸覺(jué)感知才能掘出一條技術(shù)護(hù)城河。
目前觸覺(jué)手套解決的就是全方位觸覺(jué)感知的問(wèn)題。
最開(kāi)始，為了提供逼真的觸感，觸覺(jué)手套需要在整個(gè)手上安裝數(shù)百個(gè)執(zhí)行器（微型電機(jī)），以使佩戴者的手部運(yùn)動(dòng)與觸摸虛擬物體時(shí)協(xié)同。但是過(guò)多的的機(jī)械執(zhí)行器會(huì)產(chǎn)生過(guò)多的熱量，既不舒適又太大、太硬、太貴太耗電。
是否可以用柔軟、柔韌的驅(qū)動(dòng)器代替機(jī)械驅(qū)動(dòng)器？如果驅(qū)動(dòng)器可以根據(jù)佩戴者的動(dòng)作改變形狀，就可以假設(shè)執(zhí)行器根本不存在，與手部融為一體。
新技術(shù)就采用了更加新穎的軟體機(jī)器人，用微型氣囊取代了笨重的機(jī)電組件。這種柔軟、輕便的觸覺(jué)手套，最明顯的優(yōu)勢(shì)是解決了外部器件過(guò)于異化的問(wèn)題，同時(shí)還明顯提高了 AR/VR 中雙向交互問(wèn)題：幫助計(jì)算機(jī)準(zhǔn)確理解和反映佩戴者的手部動(dòng)作，并為佩戴者再現(xiàn)一系列復(fù)雜、細(xì)微的感覺(jué)，例如壓力、紋理和振動(dòng)來(lái)創(chuàng)造用手感受虛擬物體的效果。
為了控制這些新的軟執(zhí)行器，他們正在構(gòu)建世界上第一個(gè)高速微流體處理器：手套上的微型微流體芯片，通過(guò)告訴閥門何時(shí)開(kāi)關(guān)，從而控制執(zhí)行器的氣流。
現(xiàn)實(shí)實(shí)驗(yàn)室的Andrew Stanley說(shuō)到：“我們和其他微流體研究的不同之處在于，我們強(qiáng)調(diào)一切都非常輕巧、可穿戴和響應(yīng)快速，在手上創(chuàng)造可信的觸覺(jué)，讓虛擬世界變得“有形”?！?/p>
即使有一種控制氣流的方法，系統(tǒng)也需要知道何時(shí)何地提供正確的感覺(jué)。這需要先進(jìn)的手部跟蹤技術(shù)，使計(jì)算機(jī)能夠準(zhǔn)確地知道手部在虛擬場(chǎng)景中的位置，人是否與虛擬對(duì)象接觸，以及手如何與對(duì)象交互。
因此，還需要一款為 AR/VR 界面構(gòu)建觸覺(jué)渲染的軟件，可以根據(jù)手的位置和對(duì)虛擬環(huán)境的理解，幾乎實(shí)時(shí)地向手套上的執(zhí)行器發(fā)送指令，包括紋理、重量和剛度等。
RL 軟件工程師 Forrest Smith 說(shuō)，“人們通常將‘渲染’視為視覺(jué)效果，我們還使用‘渲染’來(lái)表示觸覺(jué)：首先獲取人與虛擬世界的交互狀態(tài)，并將其渲染到執(zhí)行器，從而獲得相應(yīng)的感覺(jué)。然后為了渲染與對(duì)象的實(shí)時(shí)交互，還需要模擬相應(yīng)的物理狀態(tài)?！?/p>
強(qiáng)化學(xué)習(xí)研究工程師Justin Clark 指出：一個(gè)物理引擎（用于視頻游戲中模擬對(duì)象的交互軟件）決定了手與虛擬環(huán)境交互的方向，幅度，力度。然后，觸覺(jué)渲染算法將此信息與觸覺(jué)設(shè)備的特性（例如其各個(gè)執(zhí)行器的位置和屬性）相結(jié)合，以便向設(shè)備發(fā)送正確的指令。
軟件工程師 Andrew Doxon 補(bǔ)充道：“其中一個(gè)挑戰(zhàn)是構(gòu)建適用于不同類型執(zhí)行器并支持各種觸覺(jué)體驗(yàn)的軟件。最終，我們還需要構(gòu)建工具，讓人們能夠像創(chuàng)建視覺(jué)或音頻內(nèi)容一樣創(chuàng)建觸覺(jué)內(nèi)容?！?/p>
隨著工作的進(jìn)行，第三個(gè)挑戰(zhàn)出現(xiàn)了：為了使紋理和感覺(jué)發(fā)揮作用，他們必須以模仿現(xiàn)實(shí)的方式模擬觸摸物理，但不能完全重新創(chuàng)建現(xiàn)實(shí)世界的物理學(xué)。
因此，他們想到多感官整合：研究人類感官如何協(xié)同工作，從而建立我們對(duì)世界的整體理解。
UX 研究科學(xué)經(jīng)理 Sophie Kim 曾說(shuō)到，“我們的大腦非常擅長(zhǎng)接收一點(diǎn)觸覺(jué)信號(hào)、一點(diǎn)視覺(jué)信號(hào)、一點(diǎn)聽(tīng)覺(jué)信號(hào)，然后將它們?nèi)诤显谝黄?，形成全方位的感覺(jué)，并使你的大腦確信有一個(gè)物體在你手上?！?/p>
RL 感知研究科學(xué)家 Jess Hartcher-O'Brien說(shuō)到：如果我拿起一個(gè)物體，我已經(jīng)對(duì)它的材料類型以及重量有了一些假設(shè)，然后我抓拿起它，觸覺(jué)系統(tǒng)會(huì)驗(yàn)證這是什么材料，大腦會(huì)識(shí)別摩擦力和慣性；視覺(jué)系統(tǒng)會(huì)根據(jù)我手臂移動(dòng)的方式，計(jì)算出這個(gè)物體的密度或重量。最終這些線索會(huì)綜合起來(lái)，形成關(guān)于這個(gè)物體的本體感覺(jué)。
這種思路套用在觸覺(jué)手套上，就是讓佩戴者的感知系統(tǒng)相信它正在感受物體的重量，通過(guò)用致動(dòng)器輕輕拉動(dòng)佩戴者手指的皮膚來(lái)模擬握持物體上的重力、拉力。但這一切都必須計(jì)算準(zhǔn)確。
隨著程序的成熟，手套舒適度就要提上日程。如何將傳感器和機(jī)器人執(zhí)行器集成到手套本身材料中，其實(shí)是個(gè)非常大的挑戰(zhàn)。
比如，一副僵硬、沉重或其他不舒服的手套，或者一個(gè)很容易脫落的手套，會(huì)立即把佩戴者打出沉浸式體驗(yàn)。因此，手套需要重量輕、柔軟且高度耐用。
RL 研究過(guò)程工程師 Katherine Healy 說(shuō)，“矛盾是我們必須將所有的技術(shù)制成縮小版，這樣才能在有限的手套上安裝更多的東西，還要兼具美觀和舒適?！?/p>
這項(xiàng)工作涉及到材料科學(xué)的工作。材料小組一開(kāi)始想到發(fā)明一種新型便宜的聚合物，既可以像塑料和硅膠那樣舒適又可拉伸，又可以在分子水平上定制以產(chǎn)生新功能。這需要全新的制造技術(shù)來(lái)將這些新材料變成非常細(xì)的纖維，然后縫制成手套。
“但僅導(dǎo)電的紗線并不能滿足人們?cè)?VR 中進(jìn)行交互所需的所有功能，這就是為什么我們探索如何在同一纖維或織物中構(gòu)建多種功能——包括導(dǎo)電、電容和傳感功能，并制出更纖薄、更耐磨的手套外形，”RL 研究科學(xué)經(jīng)理 Kristy Jost 補(bǔ)充道。
這就是為什么材料小組在探索制造技術(shù)，同時(shí)又保證每只手套可定制，以獲得最大的觸覺(jué)精度和舒適度。這樣做意味著開(kāi)發(fā)設(shè)計(jì)和制造微型執(zhí)行器的新方法，并創(chuàng)建新的編織和刺繡工藝以將它們精確地嵌入手套中。
“目前，手套可以由熟練的工程師和技術(shù)人員單獨(dú)制造，由他們制造子系統(tǒng)作為手套組裝配件，”Healy 說(shuō)，“這個(gè)過(guò)程要盡可能使用半自動(dòng)化工藝，因此還要發(fā)明新的制造工藝?！?/p>
“我相信，在即將到來(lái)的 AR/VR 和元宇宙人機(jī)交互革命中，觸覺(jué)將是至關(guān)重要的，”RL 研究科學(xué)經(jīng)理 Nicholas Colonnese 說(shuō)。
“當(dāng)我們開(kāi)始觸覺(jué)手套項(xiàng)目時(shí)，我們問(wèn)自己是否可以構(gòu)建一種可大規(guī)模生產(chǎn)、價(jià)格合理的消費(fèi)設(shè)備，讓人們可以在任何地方體驗(yàn)任何有形的界面，”Healy 說(shuō)，“我們無(wú)法發(fā)明新材料、新傳感器和執(zhí)行器、新的集成方法和系統(tǒng)、新的渲染算法、新的物理引擎，但我們已經(jīng)開(kāi)辟了一條可行的道路，可以讓我們到達(dá)那里。”
目前，這項(xiàng)觸覺(jué)手套還未走出實(shí)驗(yàn)室，團(tuán)隊(duì)還想要弄清楚VR 觸控的真實(shí)程度如何。創(chuàng)造下一個(gè)人機(jī)交互時(shí)代的中心 ，觸覺(jué)研究，才剛剛開(kāi)始。
參考鏈接：
https://www.theverge.com/2021/11/16/22782860/meta-facebook-reality-labs-soft-robotics-haptic-glove-prototype?scrolla=5eb6d68b7fedc32c19ef33b4
https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/
閩公網(wǎng)安備 35010202001226號(hào)
