美顏是當今短視頻、視頻社交、直播等日常生活中經(jīng)常使用到的一項技術(shù)，好的美顏可以給視頻中自己的外貌、膚色、妝容等加分，進而帶來更好的視覺體驗。而然，美顏并不是萬能的，我們平時看直播時，有的平臺在主播開啟美顏后，反倒出現(xiàn)了畫面泛白泛紅、屏幕有條紋刺眼閃爍、細節(jié)模糊等情況，導(dǎo)致美感消失，或者有的平臺美顏參數(shù)配置不合適，主播看起來像整容失敗。這種情況下，如果忽視了美顏和RTC集成過程的細節(jié)打磨，也將導(dǎo)致視頻無法呈現(xiàn)出最佳畫質(zhì)，視覺觀看體驗大打折扣。長此以往，會導(dǎo)致主播的人氣下降，平臺的流水下滑等。
聲網(wǎng)近期發(fā)布的“實時高清·超級畫質(zhì)”解決方案，是面向?qū)崟r視頻場景提供的一套以提升視頻畫質(zhì)和使用體驗為核心的解決方案，包含至臻畫質(zhì)、美顏悅色、絲滑流暢、低碼高清、PC開播、玩法升級、數(shù)據(jù)監(jiān)測、使用無憂八大禮包，其中“美顏悅色”就具備RTC+美顏最佳實踐、高精準五官貼合、高穩(wěn)定點位追蹤、美顏場景無死角覆蓋等一系列能力，不僅可以給主播帶來更美、更自然的美顏效果，還能幫助企業(yè)降低開發(fā)門檻，快速集成上線美顏。
RTC+美顏最佳實踐
杜絕美顏接入后黑屏、卡頓
企業(yè)的直播/視頻平臺在接入美顏時，選擇最佳的集成方式非常重要，美顏效果再好，接入方式出現(xiàn)問題，也是白忙活。聲網(wǎng)作為實時互動云行業(yè)的開創(chuàng)者，積累了豐富的實時音視頻集成美顏SDK的經(jīng)驗，并總結(jié)出實時音視頻接入各家美顏過程的最佳實踐方法。由于每家廠商集成方式不同，集成方式復(fù)雜，需要在不同視頻格式來回切換和調(diào)用，容易出現(xiàn)接入處理方式錯誤，導(dǎo)致黑屏、卡頓、發(fā)燙等一系列問題。
聲網(wǎng)在不斷的實踐中總結(jié)出了多個最優(yōu)技術(shù)路徑，例如：
·告別黑屏：聲網(wǎng)采用了RTC SDK直接采集，動態(tài)根據(jù)采集數(shù)據(jù)類型使用最佳的美顏處理方式，紋理輸入處理或者I420輸入處理，強大的兼容性大大降低黑屏概率。
·保證流暢：聲網(wǎng)使用了多種處理方式組合，單紋理處理、I420處理和雙輸入處理，以及做了異步處理優(yōu)化耗時，使美顏處理耗時降到最低，實現(xiàn)幀率足幀且穩(wěn)定流暢，海外低端機也可以輕松享受高清畫質(zhì)。
·避免發(fā)燙：聲網(wǎng)選擇將更多部分美顏處理放在GPU處理，減少CPU占用，避免手機發(fā)燙，主播長時間開播也不用發(fā)愁，助力平臺進一步提升主播活躍度和粘性。
此外，在美顏最佳實踐的加持之下，毛發(fā)、睫毛等細節(jié)清晰度上都實現(xiàn)了高保真還原；在色彩表現(xiàn)上，最大程度還原真實色彩的同時，實現(xiàn)了主播人像更白的效果，更符合亞洲人審美，同時滿足國內(nèi)和海外的審美需求；在幫助主播更高清地呈現(xiàn)主播人美同時，還兼顧了背景物品細節(jié)的真實還原，不僅適用于秀場、視頻交友場景，還適用于電商場景。
場景化美顏API
顯著降低開發(fā)門檻
為了幫助開發(fā)者與企業(yè)有效降低開發(fā)成本，快速上線美顏功能，聲網(wǎng)提供了美顏場景化API解決方案降低集成工作量與代碼量。在集成方面，減少客戶90%的集成工作量，原本需要7-14天的開發(fā)時間，優(yōu)化后只需1-3小時完成。
在代碼量方面，原本需要的300+行代碼，減少至10行以內(nèi)，這其中聲網(wǎng)解決了多個核心技術(shù)難點：不同美顏廠商之間的無腦切換、多種視頻幀格式間的自動兼容、美顏SDK與RTC的最佳實踐、預(yù)設(shè)的美顏參數(shù)最佳配置和鏡像的通用配置。
場景化美顏API可以適配各種場景，已經(jīng)包含秀場單主播、秀場PK、秀場連麥、秀場多人連屏、電商直播等，在各場景下均實現(xiàn)了低消耗、高穩(wěn)定性的表現(xiàn)。
高精準五官貼合
高穩(wěn)定點位追蹤
美顏是對圖像中人臉進行美化的綜合技術(shù)，美顏的首要任務(wù)是準確定位圖像中的人臉以及人臉的五官，然后根據(jù)人臉的特征，進行個性化的美化。美顏依賴的基礎(chǔ)技術(shù)包括人臉檢測、人臉關(guān)鍵點檢測。人臉檢測，是從圖像中找到人臉的位置并采用矩形框的方式將人臉標示出來。由于人臉檢測提供的信息比較粗糙，要想獲取更精細、詳細的人臉信息，比如，人臉的臉型、嘴巴、眼睛、鼻子的位置和幾何形狀，則需要進行人臉關(guān)鍵點檢測。
人臉關(guān)鍵點檢測，也稱為人臉關(guān)鍵點定位或者人臉對齊，是在人臉檢測獲取到人臉在圖像中具體位置的基礎(chǔ)上，進一步定位人臉五官的位置。這些人臉五官位置信息，是一些具有明確語議定義的離散點，因此稱為人臉關(guān)鍵點。通常，人臉關(guān)鍵點定義在人臉的臉頰、嘴巴、眼睛、鼻子和眉毛區(qū)域，將人臉關(guān)鍵點連接起來，能夠描繪人臉的幾何特征。利用人臉關(guān)鍵點，可以定位嘴巴、眼睛、鼻子、眉毛的位置，以及推斷臉型、嘴巴、眼睛的幾何形態(tài)和頭部的姿態(tài)。
而聲網(wǎng)“超級畫質(zhì)”的美顏能力可以實現(xiàn)高精準度的五官貼合，保持人臉的五官和輪廓各部位點位始終精準，并且無論是靜止還是運動場景，均能保持點位始終穩(wěn)定，拒絕抖動與延遲，最終實現(xiàn)在不同的表情、姿態(tài)、光照和遮擋條件下，準確、快速、穩(wěn)定地定位人臉關(guān)鍵點，達到最佳的美顏效果。
多場景、多人種最佳美顏效果
在保證對人臉關(guān)鍵點的精準識別后，聲網(wǎng)還能實現(xiàn)多場景、多人種的最佳美顏效果。一方面，聲網(wǎng)可對復(fù)雜場景精細化調(diào)優(yōu)，例如明暗光、大表情、大角度、大遮擋、小臉、運動變化等場景，均能保證最優(yōu)美顏效果，同時在美顏場景上也實現(xiàn)無死角全方位覆蓋。
另一方面，針對多人種人臉特征，聲網(wǎng)也能精準識別，并保證不同人種的最佳美顏效果，對于企業(yè)而言，可以將美顏功能更靈活的適配到出海APP中。
聲網(wǎng) Agora
專欄
閩公網(wǎng)安備 35010202001226號
