中國自動駕駛商業(yè)化處于快速發(fā)展階段，各車企在不斷推動自動駕駛技術創(chuàng)新的基礎上，也在創(chuàng)新思路，通過給運營中的自動駕駛車配備遠程安全員，進一步保證安全性。據(jù)了解，根據(jù)交通運輸部辦公廳2023年11月印發(fā)的《自動駕駛汽車運輸安全服務指南（試行）》的通知，在指定的區(qū)域運營時可使用遠程安全員，遠程安全員人車比不得低于1:3。
當車輛遇到緊急情況或自動駕駛無法識別的極端情況，車輛會進行識別并作出減速、剎停等相關反應，并由遠程安全員進行接管。一般在遠程接管時，會進行低速行駛（5-30km/h），待遠程駕駛車輛脫困后再切換到正常速度行駛。而在遠程接管過程中，保證遠程畫面的實時性與穩(wěn)定性至關重要。其中，畫面時延決定了遠程安全員做出反應的速度，畫面信息從現(xiàn)場傳送到遠程操控的屏幕上，需要經(jīng)歷攝像頭采集、編碼、網(wǎng)絡傳輸、解碼、渲染等環(huán)節(jié)，耗時越長，就會產(chǎn)生遠程畫面和一線車況的“時差”，后果不堪設想。此外，在公開路段的公網(wǎng)條件下，網(wǎng)絡挑戰(zhàn)大，一旦出現(xiàn)網(wǎng)絡不穩(wěn)定的情況，也會導致畫面卡頓，影響安全員操作。
騰訊云5G遠程操控解決方案基于經(jīng)過20多年技術積累，以及騰訊會議、微信視頻號等國民級產(chǎn)品的打磨的騰訊云實時音視頻技術，并從實時性和穩(wěn)定性等方面進行了優(yōu)化升級，落地Robotaxi商業(yè)化場景，在保障200ms端到端畫面延時同時，針對開放道路行駛中出現(xiàn)的單網(wǎng)信號盲區(qū)和弱帶寬等情況，實現(xiàn)150ms視頻卡頓率<0.1%，99%分位視頻延遲<200ms，并做到全程視頻無明顯肉眼感知卡頓，讓遠程安全員實時穩(wěn)定掌握車輛一線情況，助力自動駕駛商業(yè)化加速落地。
為了達到這樣的視頻延遲和穩(wěn)定性指標，其背后面臨的技術挑戰(zhàn)是非常大的。相比傳統(tǒng)音視頻通話，Robotaxi遠程接管場景雖然也是1v1，但其視頻路數(shù)往往會有6-8路，每路分辨率也基本在720P或1080P甚至更高。這樣規(guī)模的像素量，無疑會增加整體處理延遲以及對網(wǎng)絡帶寬的要求。而需求卻是要在這種情況下，進一步降低延遲，并在帶寬更弱的網(wǎng)絡條件下保障視頻的穩(wěn)定性。面對這樣的矛盾，我們除了針對硬件性能進行了極限優(yōu)化外，為了突破理論瓶頸，還引入了分辨率、多網(wǎng)等新的優(yōu)化自由度。下面是一些具體分享。
全鏈路優(yōu)化，打造極致低延遲
在實時性方面，針對相機采集、編碼、鏈路傳輸、接收解碼以及渲染等環(huán)節(jié)，進行全鏈路優(yōu)化，相比基于CPU處理的RTC鏈路將畫面延遲降低約100ms。
采集+圖像變化+編碼加速
圖像變換和視頻編碼等處理，基于硬件芯片加速，往往可以縮短處理延遲，但是不同處理步驟中，芯片內存和CPU內存之間的轉換又可能會造成一定耗時。為了實現(xiàn)最低的延遲處理，基于業(yè)界最常用的nvidia自動駕駛芯片平臺，騰訊云音視頻遠控方案進行了完整的發(fā)送鏈路加速優(yōu)化，使得處理過程中數(shù)據(jù)完全基于芯片內存進行，而不經(jīng)過CPU內存。
相機數(shù)據(jù)采集階段，放棄了最常用的MMAP采集，而是選用了DMA方式進行采集，減少了1次CPU拷貝，通過句柄將相機數(shù)據(jù)直接拷貝到芯片物理內存中。
在圖像變換和視頻編碼階段，復用了編碼器的輸入隊列作為處理緩沖，采用循環(huán)使用的方式，進行圖像變換和視頻編碼的處理，同時避免阻塞等待。
在編碼輸出時，通過MMAP的方式，將編碼器輸出的編碼數(shù)據(jù)導出到CPU內存中，至此實現(xiàn)了這編碼前的階段數(shù)據(jù)不回落CPU內存，降低了處理延遲和CPU占用率。
發(fā)送和接收緩存優(yōu)化
音視頻發(fā)送和接收時，通常會引入緩存，來保證音視頻傳輸?shù)牧鲿承?。比如發(fā)送階段pacing處理和接收階段的jitterbuffer。騰訊云音視頻遠控方案中，為了降低延遲，對緩存進行了優(yōu)化。首先是pacing的處理，放棄了應用層的pacing，而轉向利用發(fā)送端的網(wǎng)絡模組中的緩存來平穩(wěn)發(fā)送。在JitterBuffer的處理，引入動態(tài)的buffer調整算法，并強調了通過更快的網(wǎng)絡估計和更平穩(wěn)的自適應來保證傳輸流暢性，將幀間隔波動穩(wěn)定在15ms以內。
解碼+渲染+超分加速
類似于發(fā)送段，在接收端解碼到渲染鏈路中，騰訊云音視頻遠控方案中也引入了全GPU內存的處理方式，讓數(shù)據(jù)不經(jīng)過CPU內存，盡量減少延遲。同時在圖像格式變換、超分上采樣等過程中，引入了one-stage的渲染管線處理方式，以進一步降低了圖像格式變換和超分處理帶來的延遲。
多視頻流聯(lián)合調度+實時超分
保障低帶寬下視頻QoS
穩(wěn)定性方面，由于公開道路環(huán)境復雜，網(wǎng)絡波動較大，易出現(xiàn)覆蓋盲區(qū)，遠控視頻質量無法有效保障，是阻礙遠程駕駛落地運營的一大痛點。騰訊云實時音視頻在音視頻碼率自適應、HARQ丟包抵抗等傳統(tǒng)抗弱網(wǎng)技術基礎上，新引入多視頻流qos優(yōu)先級調度+動態(tài)實時超分等多項技術，在極低帶寬的弱網(wǎng)環(huán)境下，也能通過分辨率和優(yōu)先級調整，保障主要視頻流的畫質和穩(wěn)定傳輸。
多流聯(lián)合帶寬估計
這里將每個視頻流的接收間隔和丟包獨立進行反饋，并在發(fā)送端進行聯(lián)合帶寬估計。由于每個視頻流數(shù)據(jù)發(fā)送時在時間和大小上具有獨立性，相比將所有視頻流的包合并進行反饋，每個視頻流獨立反饋并聯(lián)合估計可以更快地響應網(wǎng)絡變化，并且能估計出更多的帶寬。
碼率+分辨率聯(lián)合調節(jié)
由于硬件編碼器本身的實現(xiàn)，對給定分辨率的視頻進行編碼時，碼率上往往存在一個范圍約束。當設置碼率低于這個范圍時，編碼實際碼率可能會不受設置碼率影響或畫質出現(xiàn)劇烈下降。為了讓編碼器能夠更準確地響應設置碼率，且避免畫質的的異常下降，給出了動態(tài)分辨率和碼率聯(lián)合調節(jié)的策略。根據(jù)編碼輸出QP范圍的變化，對編碼的分辨率進行調整。
發(fā)送優(yōu)先級調度
引入基于比例公平的發(fā)送優(yōu)先級調度策略，提升主要路視頻流的傳輸優(yōu)先級，利于主要路視頻流搶占到更多帶寬。同時引入背壓機制，當次要路視頻流數(shù)據(jù)發(fā)送受到對應隊列數(shù)據(jù)積壓導致的背壓時，會進一步降低次要路視頻流的碼率。
實時超分算法
為了降低動態(tài)分辨率引入的帶來的分辨率下降對畫質的影響，引入了發(fā)端降采樣+收端超分的聯(lián)合優(yōu)化方案。考慮到延遲的重要性，通過硬件加速來實現(xiàn)降采樣，并利用shader渲染來實現(xiàn)超分，可以做到<5ms的延遲增加。降采樣和超分算法，以PSNR為目標進行調教，在2X倍數(shù)下與原圖PSNR>32dB,1.5X倍數(shù)下與原圖PSNR>35dB。
多網(wǎng)絡路徑傳輸，實現(xiàn)“0”卡頓
開放道路行駛，網(wǎng)絡往往會遇到弱覆蓋區(qū)域，無法有效保障視頻的傳輸。為了提升開放道路上視頻的連續(xù)穩(wěn)定性，需要引入多網(wǎng)絡路徑傳輸技術，可以讓多個視頻流在多個運營商網(wǎng)絡上同時傳輸，并在發(fā)生弱網(wǎng)時及時切換，保障視頻傳輸?shù)姆€(wěn)定性。
傳統(tǒng)的網(wǎng)絡鏈路切換，一方面需要較長的檢測時間，增加了切換的時長；另一方面切換時，可能會產(chǎn)生較大的網(wǎng)絡波動引起視頻卡頓。同時在雙弱網(wǎng)場景下，很容易出現(xiàn)反復切換或切換失敗導致視頻卡住的情況。為了降低切換時的視頻卡頓，提升雙弱網(wǎng)情況下的傳輸效率，使用聯(lián)合傳輸?shù)姆绞?，對多網(wǎng)的主副通道進行了前向糾錯聯(lián)合編碼，通過調整前向糾錯的冗余率以及打孔率平滑多網(wǎng)切換過程，實現(xiàn)接近0卡頓網(wǎng)絡切換，并可應對雙弱網(wǎng)場景，實現(xiàn)通過兩個網(wǎng)絡聯(lián)合傳輸。
騰訊云
專欄
閩公網(wǎng)安備 35010202001226號
