揭秘實(shí)時(shí)互動(dòng)支持4K高清畫質(zhì)背后的技術(shù)挑戰(zhàn)

“至臻畫質(zhì)”是聲網(wǎng)“實(shí)時(shí)高清·超級(jí)畫質(zhì)”解決方案中的一項(xiàng)核心能力，不僅支持移動(dòng)端1080P、PC端4K高清畫質(zhì)，還通過(guò)端側(cè)實(shí)時(shí)超分、暗光增強(qiáng)、色彩增強(qiáng)等算法對(duì)畫質(zhì)進(jìn)行增強(qiáng)與提升，相比技術(shù)門檻較高的超分、暗光增強(qiáng)等技術(shù)，想要在實(shí)時(shí)互動(dòng)中支持1080P、4K高清畫質(zhì)也并不簡(jiǎn)單，其背后也面臨著一系列技術(shù)挑戰(zhàn)。

總體來(lái)說(shuō)，在實(shí)時(shí)互動(dòng)中支持超高清視頻的技術(shù)挑戰(zhàn)可分為“大數(shù)據(jù)量的網(wǎng)絡(luò)傳輸和弱網(wǎng)對(duì)抗能力”、“全鏈路各環(huán)節(jié)的處理性能和幀率要求”、“綜合設(shè)備可用性和QoE體驗(yàn)問(wèn)題”三方面的挑戰(zhàn)，接下來(lái)我們將逐一解析每一項(xiàng)技術(shù)挑戰(zhàn)背后的聲網(wǎng)最佳實(shí)踐。

音視頻數(shù)據(jù)量龐大

考驗(yàn)網(wǎng)絡(luò)傳輸和弱網(wǎng)對(duì)抗能力

在日常生活中，我們下載或者觀看更高清的視頻，一般都需要更快的網(wǎng)絡(luò)帶寬，在實(shí)時(shí)互動(dòng)中亦是如此，想要實(shí)現(xiàn)4K等超高清視頻的傳輸，一般需要10M、20M甚至更高的帶寬，才能實(shí)現(xiàn)視頻的穩(wěn)定傳輸，普通網(wǎng)絡(luò)條件下很容易因?yàn)閹挷蛔慊蛘叨秳?dòng)造成大量的網(wǎng)絡(luò)丟包，引起視頻卡頓。

視頻越高清也就意味著視頻的數(shù)據(jù)量越龐大，所以一般在傳輸前都會(huì)先用到音視頻編碼技術(shù)，壓縮音視頻數(shù)據(jù)的大小，讓音視頻更容易存儲(chǔ)和傳輸。但壓縮后的視頻數(shù)據(jù)量依然很考驗(yàn)網(wǎng)絡(luò)的傳輸能力，想要解決實(shí)時(shí)互動(dòng)場(chǎng)景下的網(wǎng)絡(luò)質(zhì)量問(wèn)題，需要依賴于傳輸協(xié)議、弱網(wǎng)對(duì)抗算法以及媒體傳輸策略。

在超高清視頻的傳輸場(chǎng)景中，聲網(wǎng)除了采用PVC、H265和B幀等高效編碼壓縮技術(shù)之外，在4K畫質(zhì)場(chǎng)景，聲網(wǎng)可以做到70%丟包下視頻通話流暢，這其中得益于聲網(wǎng)自研的傳輸協(xié)議AUT、抗丟包FEC算法和自適應(yīng)媒體傳輸策略。

一方面，聲網(wǎng)自研的AUT傳輸協(xié)議采用更合理的傳輸架構(gòu)和更好的算法，帶來(lái)更大的傳輸能力和更高的丟包對(duì)抗邊界，同時(shí)還支持多人視頻的Scalability（可伸縮性）。很多問(wèn)題在超高清視頻場(chǎng)景下會(huì)放大，包括弱網(wǎng)對(duì)抗，原本還不錯(cuò)的網(wǎng)絡(luò)帶寬能接受720P畫質(zhì)，但在1080P、4K畫質(zhì)下是不夠的，這時(shí)候就會(huì)根據(jù)每個(gè)接收端的網(wǎng)絡(luò)質(zhì)量分發(fā)最合適的碼流，例如從原來(lái)的4K 60FPS降到4K 30FPS，甚至是1080P，讓每個(gè)接收端都可以得到和自己的網(wǎng)絡(luò)狀態(tài)相匹配的流暢體驗(yàn)。

另一方面，聲網(wǎng)自研的FEC算法能提高丟包恢復(fù)率，降低解碼端的延遲，最終改善弱網(wǎng)下的卡頓率指標(biāo)和解碼延遲時(shí)間。同時(shí)聲網(wǎng)的弱網(wǎng)對(duì)抗算法結(jié)合混合ARQ（自動(dòng)重傳請(qǐng)求）媒體傳輸策略，可以根據(jù)多維度的輸入?yún)?shù)信息、網(wǎng)絡(luò)環(huán)境以及用戶場(chǎng)景和結(jié)果反饋，實(shí)現(xiàn)自適應(yīng)的弱網(wǎng)對(duì)抗系統(tǒng)，確保高分辨率場(chǎng)景下抗弱網(wǎng)能力的同時(shí)提升視頻質(zhì)量（清晰度、流暢度、延時(shí)）。

全鏈路各環(huán)節(jié)的處理性能和幀率要求

高分辨高幀率的視頻場(chǎng)景，除了編碼傳輸和弱網(wǎng)對(duì)抗能力之外，視頻采集和渲染的幀率表現(xiàn)以及上下行鏈路處理的CPU性能開(kāi)銷也經(jīng)常是瓶頸所在。因?yàn)槊?秒處理的內(nèi)存數(shù)據(jù)量最高可達(dá)幾百M(fèi)B甚至1GB以上，因此針對(duì)2K/4K 60FPS場(chǎng)景聲網(wǎng)做了采集、渲染、硬件編解碼等全鏈路的深度優(yōu)化，全平臺(tái)支持零拷貝鏈路，充分利用GPU的硬件加速處理能力，以及盡可能的減少視頻數(shù)據(jù)的搬運(yùn)操作，以降低大量的視頻數(shù)據(jù)處理和流轉(zhuǎn)對(duì)于CPU的消耗。

這就好比利用集裝箱取代傳統(tǒng)的散貨裝卸，可以極大提升貨物流轉(zhuǎn)的效率。另外通過(guò)將整個(gè)視頻處理鏈路拆分成多個(gè)子任務(wù)，類似于現(xiàn)代工廠的多級(jí)流水線，可以提高視頻處理的并行度，最終提升整個(gè)視頻鏈路的吞吐量。

同時(shí)，針對(duì)4K 60FPS超高清屏幕共享采集，聲網(wǎng)通過(guò)精準(zhǔn)的時(shí)序控制實(shí)現(xiàn)60FPS滿幀率采集，同時(shí)采用系統(tǒng)原生的數(shù)據(jù)格式以避免額外的數(shù)據(jù)拷貝和轉(zhuǎn)換，比如在Mac平臺(tái)上屏幕采集直接輸出BGRA格式的CVPixelBuffer并且不需要進(jìn)行額外的格式轉(zhuǎn)換。

注：CVPixelBuffer：核心視頻像素緩沖區(qū)，是指在主存儲(chǔ)器中保存像素的圖像緩沖區(qū)。生成幀、壓縮或解壓縮視頻或使用Core Image的應(yīng)用程序都可以使用CVPixelBuffer。

在4K 60FPS高幀率視頻的渲染方面，聲網(wǎng)利用各平臺(tái)顯示的VSync機(jī)制設(shè)計(jì)高幀率渲染系統(tǒng)，避免高幀率視頻流在渲染模塊內(nèi)丟幀，同時(shí)讓高幀率場(chǎng)景下的渲染更加均勻，并在中高端設(shè)備上實(shí)現(xiàn)了端到端2K/4K 60FPS穩(wěn)定不掉幀的效果。

注：VSync是垂直同步的簡(jiǎn)稱，基本原理是將視頻的FPS幀率和顯示器的刷新率同期起來(lái)，其目的是避免出現(xiàn)畫面“撕裂”的現(xiàn)象。

綜合設(shè)備可用性和QoE體驗(yàn)問(wèn)題

超高清視頻在實(shí)際應(yīng)用場(chǎng)景中，不可避免的要面對(duì)很多設(shè)備兼容和體驗(yàn)問(wèn)題，相對(duì)于普通標(biāo)清和高清的視頻，超高清視頻更容易碰到設(shè)備不支持，或者設(shè)備支持但是明顯卡頓或發(fā)熱的問(wèn)題，尤其在多人視頻互動(dòng)場(chǎng)景下，設(shè)備和網(wǎng)絡(luò)條件復(fù)雜，發(fā)送端能做到4K 60FPS，但接收端觀眾的設(shè)備質(zhì)量參差不齊，例如有些設(shè)備解碼無(wú)法支持4K 60FPS的視頻，有些解碼只能解20幾幀，視頻幀不均勻，導(dǎo)致視頻不流暢，這些都是設(shè)備可用性問(wèn)題，也成為了阻礙業(yè)務(wù)應(yīng)用落地的絆腳石。

解決以上問(wèn)題，聲網(wǎng)的解決方案本質(zhì)上可以歸納為基于設(shè)備能力和網(wǎng)絡(luò)條件的Scalability（可可伸縮性），綜合利用多種工具并自適應(yīng)調(diào)整引擎的參數(shù)配置和策略，比如發(fā)送端可以自適應(yīng)選擇最合適的分辨率、幀率和碼率等等，提供多級(jí)的服務(wù)能力和靈活性，結(jié)合一些場(chǎng)景化API，給出不同場(chǎng)景下的參考實(shí)踐，最大程度滿足業(yè)務(wù)的綜合可用性和QoE體驗(yàn)要求。

例如，聲網(wǎng)采用的AutoAdjust（自動(dòng)調(diào)整）自適應(yīng)策略，能綜合業(yè)務(wù)類型、設(shè)備的性能、網(wǎng)絡(luò)條件和鏈路各處理模塊的狀態(tài)等，自適應(yīng)選擇最合適的分辨率、幀率和碼率，以及視頻處理模塊的檔位、軟硬編和網(wǎng)絡(luò)策略參數(shù)配置等等，在避免設(shè)備發(fā)熱和卡死的前提下盡可能保證視頻質(zhì)量體驗(yàn)。

聲網(wǎng)的解決方案還具備設(shè)備分級(jí)和設(shè)備能力查詢，用歸一化的方式，定義設(shè)備有多大的能力，能支撐多少內(nèi)容。同時(shí)支持查詢?cè)O(shè)備是否具備比如4K 60FPS的解碼能力等，方便根據(jù)業(yè)務(wù)場(chǎng)景定制最佳方案。

正是有了以上技術(shù)的不斷實(shí)踐，聲網(wǎng)才能在實(shí)時(shí)互動(dòng)中更完美的支撐1080P、4K超高清畫質(zhì)，從而進(jìn)一步實(shí)現(xiàn)視頻畫質(zhì)增強(qiáng)、畫面視覺(jué)效果提升等“至臻畫質(zhì)”能力，此外，聲網(wǎng)“實(shí)時(shí)高清·超級(jí)畫質(zhì)”還包含美顏悅色、絲滑流暢、低碼高清、PC開(kāi)播、玩法升級(jí)、數(shù)據(jù)監(jiān)測(cè)、使用無(wú)憂八大禮包，助力開(kāi)發(fā)者與企業(yè)實(shí)現(xiàn)視頻畫質(zhì)、用戶體驗(yàn)和互動(dòng)玩法的全面升級(jí)，拓展更為廣闊的營(yíng)收增長(zhǎng)空間。