助力Robotaxi商業(yè)化，騰訊云音視頻實現開放道路遠程駕駛”0“卡頓

中國自動駕駛商業(yè)化處于快速發(fā)展階段，各車企在不斷推動自動駕駛技術創(chuàng)新的基礎上，也在創(chuàng)新思路，通過給運營中的自動駕駛車配備遠程安全員，進一步保證安全性。據了解，根據交通運輸部辦公廳2023年11月印發(fā)的《自動駕駛汽車運輸安全服務指南（試行）》的通知，在指定的區(qū)域運營時可使用遠程安全員，遠程安全員人車比不得低于1:3。

當車輛遇到緊急情況或自動駕駛無法識別的極端情況，車輛會進行識別并作出減速、剎停等相關反應，并由遠程安全員進行接管。一般在遠程接管時，會進行低速行駛（5-30km/h），待遠程駕駛車輛脫困后再切換到正常速度行駛。而在遠程接管過程中，保證遠程畫面的實時性與穩(wěn)定性至關重要。其中，畫面時延決定了遠程安全員做出反應的速度，畫面信息從現場傳送到遠程操控的屏幕上，需要經歷攝像頭采集、編碼、網絡傳輸、解碼、渲染等環(huán)節(jié)，耗時越長，就會產生遠程畫面和一線車況的“時差”，后果不堪設想。此外，在公開路段的公網條件下，網絡挑戰(zhàn)大，一旦出現網絡不穩(wěn)定的情況，也會導致畫面卡頓，影響安全員操作。

騰訊云5G遠程操控解決方案基于經過20多年技術積累，以及騰訊會議、微信視頻號等國民級產品的打磨的騰訊云實時音視頻技術，并從實時性和穩(wěn)定性等方面進行了優(yōu)化升級，落地Robotaxi商業(yè)化場景，在保障200ms端到端畫面延時同時，針對開放道路行駛中出現的單網信號盲區(qū)和弱帶寬等情況，實現150ms視頻卡頓率<0.1%，99%分位視頻延遲<200ms，并做到全程視頻無明顯肉眼感知卡頓，讓遠程安全員實時穩(wěn)定掌握車輛一線情況，助力自動駕駛商業(yè)化加速落地。

為了達到這樣的視頻延遲和穩(wěn)定性指標，其背后面臨的技術挑戰(zhàn)是非常大的。相比傳統(tǒng)音視頻通話，Robotaxi遠程接管場景雖然也是1v1，但其視頻路數往往會有6-8路，每路分辨率也基本在720P或1080P甚至更高。這樣規(guī)模的像素量，無疑會增加整體處理延遲以及對網絡帶寬的要求。而需求卻是要在這種情況下，進一步降低延遲，并在帶寬更弱的網絡條件下保障視頻的穩(wěn)定性。面對這樣的矛盾，我們除了針對硬件性能進行了極限優(yōu)化外，為了突破理論瓶頸，還引入了分辨率、多網等新的優(yōu)化自由度。下面是一些具體分享。

全鏈路優(yōu)化，打造極致低延遲

在實時性方面，針對相機采集、編碼、鏈路傳輸、接收解碼以及渲染等環(huán)節(jié)，進行全鏈路優(yōu)化，相比基于CPU處理的RTC鏈路將畫面延遲降低約100ms。

采集+圖像變化+編碼加速

圖像變換和視頻編碼等處理，基于硬件芯片加速，往往可以縮短處理延遲，但是不同處理步驟中，芯片內存和CPU內存之間的轉換又可能會造成一定耗時。為了實現最低的延遲處理，基于業(yè)界最常用的nvidia自動駕駛芯片平臺，騰訊云音視頻遠控方案進行了完整的發(fā)送鏈路加速優(yōu)化，使得處理過程中數據完全基于芯片內存進行，而不經過CPU內存。

相機數據采集階段，放棄了最常用的MMAP采集，而是選用了DMA方式進行采集，減少了1次CPU拷貝，通過句柄將相機數據直接拷貝到芯片物理內存中。

在圖像變換和視頻編碼階段，復用了編碼器的輸入隊列作為處理緩沖，采用循環(huán)使用的方式，進行圖像變換和視頻編碼的處理，同時避免阻塞等待。

在編碼輸出時，通過MMAP的方式，將編碼器輸出的編碼數據導出到CPU內存中，至此實現了這編碼前的階段數據不回落CPU內存，降低了處理延遲和CPU占用率。

發(fā)送和接收緩存優(yōu)化

音視頻發(fā)送和接收時，通常會引入緩存，來保證音視頻傳輸的流暢性。比如發(fā)送階段pacing處理和接收階段的jitterbuffer。騰訊云音視頻遠控方案中，為了降低延遲，對緩存進行了優(yōu)化。首先是pacing的處理，放棄了應用層的pacing，而轉向利用發(fā)送端的網絡模組中的緩存來平穩(wěn)發(fā)送。在JitterBuffer的處理，引入動態(tài)的buffer調整算法，并強調了通過更快的網絡估計和更平穩(wěn)的自適應來保證傳輸流暢性，將幀間隔波動穩(wěn)定在15ms以內。

解碼+渲染+超分加速

類似于發(fā)送段，在接收端解碼到渲染鏈路中，騰訊云音視頻遠控方案中也引入了全GPU內存的處理方式，讓數據不經過CPU內存，盡量減少延遲。同時在圖像格式變換、超分上采樣等過程中，引入了one-stage的渲染管線處理方式，以進一步降低了圖像格式變換和超分處理帶來的延遲。

多視頻流聯合調度+實時超分

保障低帶寬下視頻QoS

穩(wěn)定性方面，由于公開道路環(huán)境復雜，網絡波動較大，易出現覆蓋盲區(qū)，遠控視頻質量無法有效保障，是阻礙遠程駕駛落地運營的一大痛點。騰訊云實時音視頻在音視頻碼率自適應、HARQ丟包抵抗等傳統(tǒng)抗弱網技術基礎上，新引入多視頻流qos優(yōu)先級調度+動態(tài)實時超分等多項技術，在極低帶寬的弱網環(huán)境下，也能通過分辨率和優(yōu)先級調整，保障主要視頻流的畫質和穩(wěn)定傳輸。

多流聯合帶寬估計

這里將每個視頻流的接收間隔和丟包獨立進行反饋，并在發(fā)送端進行聯合帶寬估計。由于每個視頻流數據發(fā)送時在時間和大小上具有獨立性，相比將所有視頻流的包合并進行反饋，每個視頻流獨立反饋并聯合估計可以更快地響應網絡變化，并且能估計出更多的帶寬。

碼率+分辨率聯合調節(jié)

由于硬件編碼器本身的實現，對給定分辨率的視頻進行編碼時，碼率上往往存在一個范圍約束。當設置碼率低于這個范圍時，編碼實際碼率可能會不受設置碼率影響或畫質出現劇烈下降。為了讓編碼器能夠更準確地響應設置碼率，且避免畫質的的異常下降，給出了動態(tài)分辨率和碼率聯合調節(jié)的策略。根據編碼輸出QP范圍的變化，對編碼的分辨率進行調整。

發(fā)送優(yōu)先級調度

引入基于比例公平的發(fā)送優(yōu)先級調度策略，提升主要路視頻流的傳輸優(yōu)先級，利于主要路視頻流搶占到更多帶寬。同時引入背壓機制，當次要路視頻流數據發(fā)送受到對應隊列數據積壓導致的背壓時，會進一步降低次要路視頻流的碼率。

實時超分算法

為了降低動態(tài)分辨率引入的帶來的分辨率下降對畫質的影響，引入了發(fā)端降采樣+收端超分的聯合優(yōu)化方案?？紤]到延遲的重要性，通過硬件加速來實現降采樣，并利用shader渲染來實現超分，可以做到<5ms的延遲增加。降采樣和超分算法，以PSNR為目標進行調教，在2X倍數下與原圖PSNR>32dB,1.5X倍數下與原圖PSNR>35dB。

多網絡路徑傳輸，實現“0”卡頓

開放道路行駛，網絡往往會遇到弱覆蓋區(qū)域，無法有效保障視頻的傳輸。為了提升開放道路上視頻的連續(xù)穩(wěn)定性，需要引入多網絡路徑傳輸技術，可以讓多個視頻流在多個運營商網絡上同時傳輸，并在發(fā)生弱網時及時切換，保障視頻傳輸的穩(wěn)定性。

傳統(tǒng)的網絡鏈路切換，一方面需要較長的檢測時間，增加了切換的時長；另一方面切換時，可能會產生較大的網絡波動引起視頻卡頓。同時在雙弱網場景下，很容易出現反復切換或切換失敗導致視頻卡住的情況。為了降低切換時的視頻卡頓，提升雙弱網情況下的傳輸效率，使用聯合傳輸的方式，對多網的主副通道進行了前向糾錯聯合編碼，通過調整前向糾錯的冗余率以及打孔率平滑多網切換過程，實現接近0卡頓網絡切換，并可應對雙弱網場景，實現通過兩個網絡聯合傳輸。