說起鋼鐵俠，讓人想起漫威迷們總結(jié)的“漫威宇宙規(guī)律”——“土豪靠裝備，窮人靠變異”，盤點鋼鐵俠斯塔克的裝備：從“48套鋼鐵戰(zhàn)衣”，到鐵打的AI助手“賈維斯”，“星期五”——懂技術(shù)懂裝備懂老板，還有他研發(fā)裝備時在空中隨心勾勒，將設(shè)計原型旋轉(zhuǎn)、修改、定稿、拋入制造系統(tǒng)的一系列騷操作，一頓玩兒就把活兒干了錢掙了，這無一不是大多數(shù)理工男的終極夢想。
這個終極夢想，真的就那么遙不可及嗎？
我們今天就來聊聊，土豪背后的技術(shù)——XR（VR，AR，MR）技術(shù)，看完后，你就知道，未來已被拉近。
簡單科普一下什么是XR，XR就是VR、AR、MR的統(tǒng)稱。虛擬現(xiàn)實（Virtual Reality）、增強現(xiàn)實（Augmented Reality）和混合現(xiàn)實（Mixed Reality），正在給我們的生活方式帶來一系列的變化。不遠的未來，你還可以坐在虛擬的會議室跟你虛擬的小伙伴們開一場云上會議，在虛擬的智慧教室上一堂多人互動課程、做一場模擬實驗，甚至進入虛擬世界進行真實的設(shè)計、制造，虛擬和真實之間，邊界不再那么明顯。這一切，都得益于XR（VR，AR，MR）技術(shù)的應(yīng)用。
XR技術(shù)，究竟依賴哪些核心能力呢？華為云最新發(fā)布的XR云服務(wù)，給了我們答案。它提供了五大核心技術(shù)和能力，打開未來新視界。
1、大規(guī)模3D地圖構(gòu)建能力
3D地圖是數(shù)字孿生世界的基礎(chǔ)。傳統(tǒng)制作3D地圖的成本，是非常高昂的。圖商需要采購價格高昂的測繪車隊，常年雇傭規(guī)模在千人左右的采集團隊，并組織人力對采集來的數(shù)據(jù)進行標注、補缺。隨著AI算法、傳感器的發(fā)展，技術(shù)上已能實現(xiàn)自動化程度更高的制圖流程。
華為云XR提供手機拍攝視頻的眾包建圖方案，只要是通過手機拍攝慢速轉(zhuǎn)動的視頻，或者有重疊區(qū)域的圖片，覆蓋建圖的區(qū)域，傳至云端即可通過算法還原出3D模型。如果將3D模型中的3個點與數(shù)字世界的坐標對齊即可將局部的3D模型補充到數(shù)字世界中，大大降低了制圖成本。
華為云同時支持衛(wèi)星制圖，具備大面積快速覆蓋能力，配合地圖自動生成流水線，大規(guī)模構(gòu)建3D地圖。
2、厘米級全場景適應(yīng)的空間計算
高精度定位技術(shù)大體上可以分為三類：基于信號的定位、基于航跡推算的定位、基于環(huán)境特征匹配的定位。
基于信號的定位：普通的多星(GPS、北斗、伽利略)定位精度大約能做到1-2米。新的RTK（Real-time kinematic，實時動態(tài)）載波相位差分技術(shù)，是能夠在野外實時得到厘米級定位精度的測量方法。
但它同時存在一些問題，比如基站布設(shè)成本高，易受電磁環(huán)境干擾、易受環(huán)境遮擋、信號多徑效應(yīng)、4G/5G/WIFI網(wǎng)絡(luò)環(huán)境差的影響等等，從而影響定位精度和定位系統(tǒng)的可用性。
基于航跡推算的定位：IMU是常用的航跡推算系統(tǒng)，優(yōu)勢在于沒有外部依賴，可以提供短時高精度的定位結(jié)果，缺點在于在連續(xù)的位置和方向的測量中誤差會不斷累積，導(dǎo)致位置和姿態(tài)的測量結(jié)果偏離實際位置，因而無法做長時間的高精度定位。
基于環(huán)境特征匹配的定位技術(shù)，華為云XR能力平臺提供根據(jù)視覺的定位技術(shù)，通過定期上傳照片，在云端進行特征點提取、匹配，能夠做到厘米級定位與一度以內(nèi)定姿（6DOF）。針對光照條件差，弱紋理的夜晚和室內(nèi)場景，通過AI方式進行增強，實現(xiàn)夜晚也能找到圖像匹配點，室內(nèi)也能定位的全場景適應(yīng)的空間定位算法。基于VPS和SLAM的緊耦合算法架構(gòu)，可逐步實現(xiàn)長時間的室內(nèi)外導(dǎo)航。
3、提升效果同時提升數(shù)倍效率的AI渲染算法
3D渲染管線也稱為渲染流水線，可以將其理解為一個流程，就是我們準備一些數(shù)據(jù)，讓GPU對這些數(shù)據(jù)做一些處理，最后得出一張二維圖像，渲染流程主要分為幾個大的階段：數(shù)據(jù)準備階段，頂點處理階段，光柵操作階段，像素著色階段。當前渲染優(yōu)化有兩個方向，一個是渲染畫質(zhì)好，一個是游戲?qū)崟r性高。華為通過對渲染管線中算法的深入研究和調(diào)試，并通過端云結(jié)合的AI算法，對渲染管線進行拆分，達到畫質(zhì)和實時性的均衡，實現(xiàn)數(shù)倍效率，畫質(zhì)相對于傳統(tǒng)渲染方式有大幅的提升。
4、十萬發(fā)絲級數(shù)字人渲染
不久的將來，現(xiàn)實世界中的每一個地方和事物——每一條街道、每一個燈柱、每一棟建筑物和每一個房間——都會在鏡像世界中擁有它的全尺寸“數(shù)字孿生兄弟”。——凱文·凱利
華為在數(shù)字人的生成、建模、渲染階段均有所涉獵，如全自動化90%相似度高精細人體模型生成。傳統(tǒng)的建模通過離線工具制作，費時費力，華為考慮改造建模過程，實現(xiàn)快速復(fù)制、自動化生成、快速建模。
渲染過程的開發(fā)，主要是從皮膚、牙齒、眼睛、毛發(fā)等等方面入手。數(shù)字人的表情肢體動作自然驅(qū)動和表達，唇音同步延時>100ms，使用者時延無感知。皮膚是半透的，比較薄的地方有散射的效果，光散射過來會產(chǎn)生折射，加入后會多一些細節(jié)；眼睛是晶狀體，有透射效果；頭發(fā)有很多層，每層有不同效果。華為實時高真實度數(shù)字人繪制，實現(xiàn)逼真的發(fā)絲、皮膚、眼睛渲染呈現(xiàn)，10萬級發(fā)絲，fps>30幀，整體主觀打分8分以上。
5、360度VR視頻TWS FOV技術(shù)（Tile-Wise-Streaming Field of View）
360度VR視頻領(lǐng)域，華為提出了TWS FOV傳輸技術(shù)，可以解決4K硬件解碼能力終端，基于4K碼率觀看8K片源的問題。通過TWS映射方式，從像素點上就可以相對ERP映射，直降40%碼率。通過增加低資源消耗的背景流，解決黑邊問題，加入單幀切換技術(shù)，提升轉(zhuǎn)頭高清體驗。
XR技術(shù)的研究和應(yīng)用，未來將有無限可能。虛擬和真實將相輔相成，實現(xiàn)真實世界與虛擬世界之間的無界溝通和協(xié)作。在不久的將來，人人都可像鋼鐵俠一樣，通過XR技術(shù)釋放無窮的創(chuàng)造力和想象力，突破極限，共筑未來
華為云
專欄
閩公網(wǎng)安備 35010202001226號
