實(shí)時(shí)3D引擎Unity如何驅(qū)動(dòng)次世代汽車(chē)HMI設(shè)計(jì)

如今的汽車(chē)早已突破了代步工具的定義，大家希望汽車(chē)能夠成為一個(gè)讓人輕松愉悅的個(gè)性化空間。如何給用戶(hù)提供更人性化的體驗(yàn)、讓出行更加智能，也是當(dāng)下車(chē)企的競(jìng)爭(zhēng)焦點(diǎn)。在這場(chǎng)競(jìng)爭(zhēng)中，HMI又是重中之重。

HMI 即“人機(jī)接口”，也叫人機(jī)界面，是系統(tǒng)和用戶(hù)之間進(jìn)行交互和信息交換的媒介。4月13日，由蓋世汽車(chē)、慕尼黑電子展聯(lián)合主辦的 2021 中國(guó)汽車(chē)人機(jī)交互 HMI 創(chuàng)新大會(huì)在上海浦東星河灣酒店圓滿(mǎn)落幕。本次會(huì)議聚集了汽車(chē) HMI 領(lǐng)域的杰出人才、UX/UI 設(shè)計(jì)師以及前瞻規(guī)劃研究人員，全方位地分享了汽車(chē)人機(jī)交互領(lǐng)域的創(chuàng)新理念、技術(shù)趨勢(shì)、行業(yè)焦點(diǎn)、現(xiàn)實(shí)挑戰(zhàn)及應(yīng)用解決方案。

作為全球領(lǐng)先的實(shí)時(shí) 3D 互動(dòng)內(nèi)容創(chuàng)作和運(yùn)營(yíng)平臺(tái)，Unity 受邀參與本次大會(huì)并發(fā)表主題演講《Unity，下一代智能汽車(chē)嵌入式 HMI 設(shè)計(jì)工具》。

當(dāng)前車(chē)載 HMI 的設(shè)計(jì)和開(kāi)發(fā)工作面臨的三大痛點(diǎn)是，工作流程斷裂、平臺(tái)碎片化、缺乏用于運(yùn)營(yíng)和變現(xiàn)的內(nèi)容和工具，Unity 作為一款交互式的實(shí)時(shí) 3D 引擎，能夠把移動(dòng)端 2D、3D 內(nèi)容開(kāi)發(fā)和運(yùn)營(yíng)的領(lǐng)先技術(shù)、經(jīng)驗(yàn)擴(kuò)展到智能座艙領(lǐng)域，將有潛力驅(qū)動(dòng)集車(chē)載信息娛樂(lè)、沉浸式增強(qiáng)現(xiàn)實(shí)及地理空間和多媒體技術(shù)為一體的未來(lái)汽車(chē)用戶(hù)體驗(yàn)。

Unity 的現(xiàn)場(chǎng)展位吸引了眾多參觀(guān)者駐足

在大會(huì)現(xiàn)場(chǎng)，Unity 展示了 HMI demo 在各類(lèi)車(chē)載操作系統(tǒng)“中高低端” 車(chē)機(jī)芯片上的運(yùn)行實(shí)況，充分體現(xiàn)了 Unity 優(yōu)秀的跨平臺(tái)兼容性和“一次構(gòu)建、多端部署”的獨(dú)特優(yōu)勢(shì)。

首先映入眼簾的是基于芯馳 X9 芯片、以 hypervisor 虛擬機(jī)架構(gòu)運(yùn)行的三個(gè)車(chē)載系統(tǒng)上的 Unity HMI，分別是 Linux 的汽車(chē)儀表盤(pán)、Android 的游戲應(yīng)用、和 Android 的另一個(gè)三屏 HMI demo，實(shí)現(xiàn)了三個(gè)系統(tǒng)無(wú)縫運(yùn)行、五個(gè)屏幕流暢呈現(xiàn)。應(yīng)用在真實(shí)車(chē)機(jī)上，獨(dú)立系統(tǒng)的好處是即使其中一個(gè)系統(tǒng)出現(xiàn)問(wèn)題，也不會(huì)影響其他運(yùn)行中的系統(tǒng)，保證最重要的汽車(chē)儀表盤(pán)始終在線(xiàn)，為駕駛員和乘客保駕護(hù)航。

用車(chē)載 HMI 玩賽艇游戲

在展臺(tái)中央，Unity 還展示了在恩智浦 NXP iMX8 芯片、QNX 操作系統(tǒng)上運(yùn)行的游戲應(yīng)用。高清晰、高畫(huà)質(zhì)的賽艇游戲可以 40+FPS 的高幀率運(yùn)行，十分絲滑、毫無(wú)延遲。在未來(lái)，車(chē)載 HMI 的顯示幀率完全可以達(dá)到 60 幀，甚至乘客坐在車(chē)內(nèi)暢玩一局“王者榮耀”游戲也可能實(shí)現(xiàn)。

可交互的 HMI demo

在展臺(tái)另一側(cè)是一個(gè)非常吸睛的 4K 超寬“帶魚(yú)屏”，展示了可交互的 HMI demo，不僅可以在不同的駕駛模式下切換，還可以調(diào)整日間、夜間屏幕光照，選擇多媒體播放，還能進(jìn)入沉浸式導(dǎo)航系統(tǒng)和游玩游戲。當(dāng)外接一個(gè)游戲手柄后，車(chē)機(jī)“秒變”游戲機(jī)。

此外，交互式全息顯示技術(shù)供應(yīng)商 Leia 也作為 Unity 的 VSP 合作伙伴展示了基于 Leia 光場(chǎng)的革命性 3D 顯示技術(shù)。現(xiàn)場(chǎng)演示的車(chē)載游戲、3D 地圖導(dǎo)航和電子版車(chē)載儀表盤(pán)，均以裸眼 3D 技術(shù)創(chuàng)造性地改變了傳統(tǒng)的人機(jī)信息交互方式，讓駕駛員與車(chē)輛的互動(dòng)更為舒適且直觀(guān)，對(duì)于高端車(chē)型而言是必不可少的體驗(yàn)加分項(xiàng)。

同時(shí)，Leia 還專(zhuān)門(mén)針對(duì) 3D 地圖導(dǎo)航中僅作為參照的建筑物等部分進(jìn)行了透明化處理，讓用戶(hù)感知三維深度的同時(shí)，最大程度地降低了眩暈感，保證駕駛員和乘客的安全。

大會(huì)現(xiàn)場(chǎng)，Unity 大中華區(qū)工業(yè)解決方案技術(shù)總監(jiān)任沁明作為嘉賓，為大家分享了基于 Unity 實(shí)時(shí) 3D 技術(shù)的下一代智能汽車(chē) HMI 解決方案。以下為簡(jiǎn)略版的演講實(shí)錄。

大家好，今天我給大家?guī)?lái)的演講是 Unity 在下一代智能汽車(chē) HMI 設(shè)計(jì)工具上的解決方案。

在座各位應(yīng)該都思考過(guò)這個(gè)問(wèn)題，就是未來(lái)智能汽車(chē)的 HMI 會(huì)是什么樣子？當(dāng)下我們可以很明顯的感覺(jué)到汽車(chē)?yán)锩娴钠聊辉絹?lái)越大，車(chē)機(jī)芯片能力也越來(lái)越強(qiáng)，這也在“催促”我們?cè)陂_(kāi)發(fā)工具上進(jìn)行改進(jìn)，以更低的成本、更加快速地創(chuàng)造所需的內(nèi)容工具。

這里是 Unity 和 HERE 地圖一起創(chuàng)造的 Demo，可以看到，汽車(chē)屏幕上的圖形實(shí)現(xiàn)了非常豐富的效果。

屏幕越大，帶來(lái)的機(jī)遇也越多，可以實(shí)現(xiàn)的使用場(chǎng)景也越豐富。

新的硬件也帶來(lái)了新的機(jī)遇，原來(lái)在車(chē)?yán)镒钪饕慕换ビ布褪欠较虮P(pán)和油門(mén)，隨著新技術(shù)的發(fā)展，目光跟蹤、手勢(shì)識(shí)別、裸眼 3D 屏幕等交互方式不再是夢(mèng)，甚至未來(lái)可能還會(huì)有 AR/XR 等全新的解決方案。

手勢(shì)識(shí)別，用戶(hù)無(wú)須觸摸任何硬件，通過(guò)直觀(guān)或者通過(guò)直覺(jué)交互，就能進(jìn)行互動(dòng)

視頻來(lái)源："Project Soli" The Untouched | Developed by Google

正如一開(kāi)始所說(shuō)，越來(lái)越大的屏幕和越來(lái)越強(qiáng)的車(chē)機(jī)芯片，“催促”我們革新開(kāi)發(fā)工具。其實(shí)，現(xiàn)在車(chē)機(jī)上用的很多硬件跟移動(dòng)端硬件都是中低功耗，這和手機(jī)生態(tài)其實(shí)是類(lèi)似的。因此，在移動(dòng)平臺(tái)開(kāi)發(fā)具備優(yōu)勢(shì)的 Unity，也同樣可以用于車(chē)載 HMI 開(kāi)發(fā)。

接下來(lái)我來(lái)給大家介紹一下 Unity HMI 解決方案。

自進(jìn)入汽車(chē)領(lǐng)域，Unity 就在汽車(chē)行業(yè)做了很多調(diào)研，首先就去了解了用戶(hù)在 HMI 開(kāi)發(fā)過(guò)程中有哪些痛點(diǎn)？我們通過(guò)用戶(hù)訪(fǎng)談總結(jié)出以下三點(diǎn)：

01  HMI 開(kāi)發(fā)流程是有斷裂的，設(shè)計(jì)端和生產(chǎn)端流程并不是一套工具，很多設(shè)計(jì)內(nèi)容在開(kāi)發(fā)周期過(guò)程中會(huì)丟失。

02  平臺(tái)碎片化。不同廠(chǎng)家選用的硬件平臺(tái)、軟件平臺(tái)、操作系統(tǒng)都是不一樣的。我們車(chē)內(nèi)又有非常多的屏幕，分辨率各不相同，且往往是異形的，這導(dǎo)致在不同環(huán)境中遷移內(nèi)容的成本非常高，因?yàn)橐槍?duì)各種平臺(tái)進(jìn)行適配。

03  缺乏運(yùn)營(yíng)和變現(xiàn)的內(nèi)容。Unity 不僅僅是內(nèi)容創(chuàng)建平臺(tái)，還是一個(gè)內(nèi)容運(yùn)營(yíng)平臺(tái)，提供了各種創(chuàng)作工具以及在后期運(yùn)營(yíng)中的運(yùn)營(yíng)生態(tài)環(huán)境，從軟件到服務(wù)全覆蓋。

首先來(lái)看一下 HMI 的傳統(tǒng)設(shè)計(jì)流程，設(shè)計(jì)端和開(kāi)發(fā)端使用的工具都不統(tǒng)一。設(shè)計(jì)端使用的是傳統(tǒng)軟件，把這些內(nèi)容整合在一起以后做概念設(shè)計(jì)，但是也就到此為止了。我們車(chē)機(jī)也還是在用傳統(tǒng)的軟件平臺(tái)。這樣一來(lái)就會(huì)遇到一個(gè)問(wèn)題，即設(shè)計(jì)端工具鏈所設(shè)計(jì)的各種特效在實(shí)際開(kāi)發(fā)過(guò)程中可能是無(wú)法實(shí)現(xiàn)的，無(wú)論是因?yàn)榧夹g(shù)的復(fù)雜度，還是功能或者性能原因。

我們這邊自然而然地有了一個(gè)想法，何不使用 Unity 制作呢？Unity 在移動(dòng)端運(yùn)作了十幾年，我們有豐富的經(jīng)驗(yàn)，所以我們覺(jué)得完全可以把 Unity 繼續(xù)往下推，一直走到車(chē)機(jī)端。

這樣一個(gè)工具鏈有什么好處呢？

這就要提一下 Unity 一直推崇的理念——民主化開(kāi)發(fā)。我們希望整個(gè)開(kāi)發(fā)團(tuán)隊(duì)盡可能使用同一套工具鏈，這樣一來(lái)我們的溝通成本會(huì)降低很多，設(shè)計(jì)端、開(kāi)發(fā)端的數(shù)據(jù)是一樣的、概念也是一樣的。如果設(shè)計(jì)師初期就使用 Unity 這樣的平臺(tái)實(shí)現(xiàn)自己的概念設(shè)計(jì)的話(huà)，那么最終實(shí)現(xiàn)到車(chē)上的時(shí)候就不會(huì)有大量的設(shè)計(jì)概念丟失了。

我們會(huì)提供基于 Unity 編輯器提供專(zhuān)屬的 HMI 編輯器，它是針對(duì) HMI 開(kāi)發(fā)流程提供的 Unity 擴(kuò)展包。它仍然是 Unity 編輯器，但是使用體驗(yàn)和使用流程完全不一樣了，對(duì)車(chē)企更加友好，能夠更加方便地做原形搭建，并且最重要的是不需要寫(xiě)任何代碼。

Unity HMI 編輯器原型模型（預(yù)覽測(cè)試版）

同樣在這個(gè)工具包里，我們也會(huì)提供 HMI 相應(yīng)的素材。比如一些基本的模塊，大家就不需要重新制作了，直接把模塊拉拽至編輯器就可以開(kāi)始設(shè)計(jì)。

對(duì)于平臺(tái)碎片化的問(wèn)題，Unity 也能很好地解決。Unity 核心的能力之一就是跨平臺(tái)，當(dāng)然車(chē)機(jī)軟硬件生態(tài)和手機(jī)也不是完全一致的，因此我們和軟硬件廠(chǎng)商開(kāi)展了很多合作，改善車(chē)機(jī)端兼容性的問(wèn)題，比如恩智浦、英偉達(dá)、高通、英特爾等。

在操作系統(tǒng)方面，HMI 這塊也是有它自己的特性，不完全是安卓，Unity 針對(duì)儀表盤(pán)做了 Yocto Linux 適配的同時(shí)，近期也支持了 QNX 系統(tǒng)，所以?xún)x表盤(pán)這塊基本的開(kāi)發(fā)環(huán)境也已經(jīng)打通了。針對(duì)中控屏，Unity 也已經(jīng)支持地非常好了。

當(dāng)然我們所支持的軟硬件列表不僅僅是這里列出來(lái)的這些，因?yàn)?Unity 本身提供的應(yīng)用程序是基于 ARM 的，所以理論上來(lái)講只要是 ARM 芯片都能跑Unity的應(yīng)用程序。同樣操作系統(tǒng)也是一樣的，核心層面它需要的是窗口管理等能力，所以只要能提供對(duì)應(yīng)的庫(kù)就，Unity 就能支持。

Unity 也可以保證對(duì)運(yùn)營(yíng)服務(wù)的支持，廣告服務(wù)是 Unity 一直以來(lái)的重要服務(wù)之一。Unity 本身就有廣告推送渠道，我們也會(huì)有大量生態(tài)可以直接遷移到基于 Unity 的開(kāi)發(fā)平臺(tái)上，這樣一來(lái)不僅僅用 Unity 進(jìn)行了開(kāi)發(fā)，我們同樣還獲得了 Unity 相關(guān)的生態(tài)，這個(gè)對(duì)于車(chē)廠(chǎng)來(lái)說(shuō)也是一個(gè)很好的機(jī)會(huì)，在很早期就可以獲得大量的內(nèi)容。

另外 Unity 有兩套系統(tǒng)，一套是基于 CPU，一套是基于 GPU。在移動(dòng)端，尤其是車(chē)機(jī)平臺(tái)，Unity 是唯一能夠提供基于 GPU 大規(guī)模粒子特效的引擎。

我們相信未來(lái) UI 肯定不是簡(jiǎn)單按紐和圖標(biāo)，一定是非常個(gè)性化的 UI 系統(tǒng)，這樣的 UI 系統(tǒng)就需要非常強(qiáng)大的框架支持，得益于十幾年的經(jīng)驗(yàn)積累，我們有一個(gè)完整的分析調(diào)試工具可以加速開(kāi)發(fā)，有完整的 UI 框架。

同樣我們完善支持了業(yè)界各類(lèi)的數(shù)據(jù)格式，特別強(qiáng)調(diào)一下我們針對(duì) CAD 格式提供了 PiXYZ 的工作流程，這個(gè)可以極大的加速車(chē)機(jī)平臺(tái)的開(kāi)發(fā)周期。傳統(tǒng)做一個(gè)車(chē)模建模要一兩個(gè)月時(shí)間，但是使用 Unity 大概只需要一兩天時(shí)間，可以完全實(shí)現(xiàn)在車(chē)的外觀(guān)還沒(méi)有完全定型情況下，就同步進(jìn)行相關(guān)的開(kāi)發(fā)。

最后是一些圖形能力的展示，在中低功耗平臺(tái)上我們提供了高性能的通用渲染管線(xiàn)（URP），我們?nèi)ツ曜隽孙w度的發(fā)布會(huì)項(xiàng)目。

針對(duì)高端平臺(tái)提供了高清渲染管線(xiàn)（HDRP），Unity 支持光線(xiàn)追蹤，可以達(dá)到和實(shí)際照片無(wú)異的質(zhì)量。光線(xiàn)追蹤不光可以提供很高的材質(zhì)效果，更重要是提供逼真的光照環(huán)境，讓圖像以假亂真。

Unity 致力于發(fā)展伙伴生態(tài)，我們有很多軟硬件合作伙伴，這次在車(chē)機(jī)方面帶來(lái)的合作伙伴 Leia，使用 Leia 屏幕，就可以在車(chē)內(nèi)帶來(lái)裸眼 3D 體驗(yàn)。同時(shí)，Leia 已經(jīng)提供了轉(zhuǎn)換插件，可以很快很輕易把 Unity 所開(kāi)發(fā)出來(lái)大量的內(nèi)容轉(zhuǎn)換為支持裸眼 3D。