Facebook開發(fā)超采樣技術(shù)，虛擬現(xiàn)實進一步更新

SIGGRAPH 2020大會即將召開，F(xiàn)acebook研究人員近日更新了一篇文章，介紹了“神經(jīng)超采樣”（neural supersampling）技術(shù)。這是一種根據(jù)人工智能機器學(xué)習(xí)為基礎(chǔ)的提高圖像清晰度的算法技術(shù)，跟NVIDIA的DLSS“深度學(xué)習(xí)超采樣”技術(shù)相似。不同的是，這個神經(jīng)超采樣并不需要專門的硬件或者軟件就能實現(xiàn)，基本可以媲美DLSS的效果。

這種“神經(jīng)超采樣”算法可以獲得低分辨率的渲染幀并將其放大16倍，這意味著未來科技方向上將發(fā)生更多的變化。例如，未來的耳機，理論上可以驅(qū)動雙3K面板，每只眼睛只渲染1K——甚至不需要眼睛跟蹤。

能夠以較低的分辨率進行渲染，意味著更多的GPU功能可以自由運行詳細(xì)的著色器和高級效果，這可以彌合從移動虛擬現(xiàn)實到控制臺虛擬現(xiàn)實的差距。雖然這并不能把移動芯片變成游戲機，但它應(yīng)該在某種程度上縮小差距。

Facebook聲稱它的神經(jīng)網(wǎng)絡(luò)是最先進的，它的性能超過了所有其他類似的算法——這也是它能夠?qū)崿F(xiàn)16倍升級的原因。在所提供的示例圖像中，F(xiàn)acebook的算法似乎已經(jīng)達到了可以重建線條或網(wǎng)格圖案等精細(xì)細(xì)節(jié)的地步。

事實上，早在3月份，F(xiàn)acebook就發(fā)表了一篇類似的文章。文中描述了利用神經(jīng)上采樣來釋放GPU功耗的思想。研究人員的期望找出一個“框架”，在當(dāng)前的渲染管道（低延遲）內(nèi)實時運行機器學(xué)習(xí)算法，他們實現(xiàn)了這一點。將該框架與神經(jīng)網(wǎng)絡(luò)相結(jié)合可以使這項技術(shù)實用化。

隨著AR/VR顯示器向著更高分辨率、更快的幀速率和更高的真實感的方向發(fā)展，神經(jīng)超采樣方法可能是通過從場景數(shù)據(jù)中推斷出清晰細(xì)節(jié)而不是直接渲染這些細(xì)節(jié)的關(guān)鍵。這項工作為未來的高分辨率虛擬現(xiàn)實指明了方向，不僅僅是顯示器，還有實際驅(qū)動所需的算法。

目前，這只是一個研究，研究人員“相信通過進一步的網(wǎng)絡(luò)優(yōu)化、硬件加速和專業(yè)級的工程設(shè)計，這種方法可以明顯更快”。Facebook將這種方法歸類為“神經(jīng)渲染”，科技的更迭正以超出了任何人的預(yù)期的速度發(fā)展著。