谷歌云：URL2Video流水線 網(wǎng)頁端自動創(chuàng)作視頻的實現(xiàn)

在音樂創(chuàng)作、視頻重構(gòu)和繪畫等多媒體內(nèi)容制作時，由機器學習和計算方法驅(qū)動的創(chuàng)意工具能夠提供多種實用功能。

·繪畫

https://ai.googleblog.com/2017/04/teaching-machines-to-draw.html

目前，Google正在積極探索這些創(chuàng)意工具的應用途徑。視頻制作這一創(chuàng)意過程尤其能從此類工具中獲益，因為過程中需要做出一系列決定，如：目標受眾更適合什么樣的內(nèi)容、如何在場景中布置素材資源視覺上會更好，以及怎樣的時間安排能產(chǎn)生最吸引人的敘事……

不過，能否利用現(xiàn)有素材資源更高效地進行視頻創(chuàng)作？企業(yè)的網(wǎng)站通常以豐富視覺表現(xiàn)描繪其服務或產(chǎn)品，這些視覺表現(xiàn)都可以重新用于其他多媒體格式，比如視頻，因此在資源有限的情況下也有可能覆蓋更廣泛的受眾。

我們在發(fā)表于UIST 2020的“在網(wǎng)頁中進行自動視頻創(chuàng)作實驗(Automatic Video Creation From a Web Page)”中介紹了URL2Video，這是一個研究原型流水線，可以讓作者在快速和可視化下將網(wǎng)頁自動轉(zhuǎn)換為短視頻。URL2Video從HTML中提取素材資源（文本、圖像或視頻）及其樣式（包括字體、顏色、圖形布局和層次結(jié)構(gòu)），并將素材資源組織成一系列鏡頭，同時保持與頁面相似的觀感。當用戶指定的長寬比和時長，它就會將重新利用的素材渲染為適合產(chǎn)品和廣告的視頻。

·在網(wǎng)頁中進行自動視頻創(chuàng)作實驗

https://research.google/pubs/pub49618/

URL2Video概覽

假設用戶提供了業(yè)務介紹網(wǎng)頁的網(wǎng)址(URL)。URL2Video流水線將根據(jù)一套啟發(fā)式方法，自動從頁面中選擇關(guān)鍵內(nèi)容，并決定每個素材資源的時間和視覺表現(xiàn)。這些啟發(fā)式方法由熟悉網(wǎng)頁設計和視頻廣告創(chuàng)作的設計師通過訪談研究提供基礎(chǔ)信息，具有常見的視頻編輯樣式，如內(nèi)容層次結(jié)構(gòu)、約束鏡頭中的信息量及其時間長度、為品牌提供一致的顏色和樣式等。URL2Video流水線利用這些信息解析網(wǎng)頁、分析內(nèi)容和選擇視覺上突出的文本或圖像，同時保留其樣式，并根據(jù)用戶提供的視頻規(guī)范進行整理。

URL2Video從輸入網(wǎng)頁中提取結(jié)構(gòu)內(nèi)容和設計，做出自動編輯決策，在視頻中呈現(xiàn)關(guān)鍵消息。用戶定義的輸出視頻的時間（例如，以秒為單位的時長）和空間（例如，長寬比）約束均為考量因素

網(wǎng)頁分析

給定網(wǎng)頁網(wǎng)址，URL2Video可以提取DOM和多媒體材料。出于研究原型的目的，我們將域限制為包含突出的素材資源和標題的靜態(tài)網(wǎng)頁。這些素材資源和標題保留在遵循最新網(wǎng)頁設計原則的HTML層次結(jié)構(gòu)中，最新原則鼓勵使用突出的元素、不同的部分和視覺焦點順序引導讀者感知信息。

·網(wǎng)頁設計原則

https://material.io/design/usability/accessibility.html#hierarchy

URL2Video將這些視覺上可區(qū)分的元素標識為素材資源組的候選列表，每個素材資源組都可能包含一個標題、一個產(chǎn)品圖像、詳細描述和行動號召按鈕，并捕獲每個元素的原始素材資源（文本和多媒體文件）和詳細的設計規(guī)范（HTML標記、CSS樣式和渲染位置）。然后，它再根據(jù)素材資源組的視覺外觀和注解（包括其HTML標記、渲染大小和在頁面上顯示的順序），通過為每個素材資源組分配一個優(yōu)先級分數(shù)進行排名。這樣一來，占據(jù)頁面頂部較大面積的素材資源組就會得到較高的分數(shù)。

基于約束的素材資源選擇

在制作視頻時我們考慮兩個目標：

1.每個視頻鏡頭都要提供簡潔的信息；

2.視覺設計要與源頁面保持一致。

根據(jù)這些目標和用戶提供的視頻約束，包括預期的視頻時長（以秒為單位）和長寬比（通常為16:9、4:3、1:1等），URL2Video會自動選擇和排列素材資源組，優(yōu)化優(yōu)先級總分。為了使內(nèi)容簡潔，它只呈現(xiàn)頁面中的主導元素，例如標題和一些多媒體素材資源。它會約束每個視覺元素的持續(xù)時間，以便觀眾感知內(nèi)容。這樣，一個簡短的視頻能夠強調(diào)頁面頂部最突出的信息，而一個較長的視頻則包含更多的廣告系列或產(chǎn)品。

場景合成與視頻渲染

給定基于DOM層次結(jié)構(gòu)的有序素材資源列表，URL2Video遵循從訪談研究中獲得的設計啟發(fā)式方法，做出有關(guān)時間和空間安排的決策，在單個鏡頭中呈現(xiàn)素材資源。它將元素的圖形布局轉(zhuǎn)換為視頻的長寬比，并應用包括字體和顏色在內(nèi)的樣式選擇。它還會調(diào)整素材資源的呈現(xiàn)時間，使視頻更具動感和吸引力。最后，將內(nèi)容渲染為MPEG-4容器格式的視頻。

用戶控制

在研究原型的界面上，用戶可以查看從源頁面提取的每一個視頻鏡頭的設計屬性、重新排列素材、更改顏色和字體等細節(jié)設計并調(diào)整約束，生成新的視頻。

在URL2Video的創(chuàng)作界面（左）中，用戶指定源頁面的輸入網(wǎng)址、目標頁面視圖大小以及輸出視頻參數(shù)。URL2Video會對網(wǎng)頁進行分析，提取主要視覺組件。它構(gòu)成一系列場景，將關(guān)鍵幀可視化為故事板。這些組件被渲染至滿足輸入時空約束的輸出視頻。用戶可以播放視頻，檢查設計屬性（右下），并進行調(diào)整以生成視頻變化，例如重新安排場景順序（右上）

URL2Video用例

我們在多種現(xiàn)有網(wǎng)頁上演示了端到端URL2Video流水線的性能。下面我們重點介紹一個示例結(jié)果，其中URL2Video將一個嵌入多個簡短視頻剪輯的頁面轉(zhuǎn)換為一個12秒的輸出視頻。注意流水線如何在捕獲自源頁面的視頻中，對字體和顏色選擇、時間和內(nèi)容順序做出自動編輯決策。

URL2Video從我們的Google搜索介紹頁面（上）識別關(guān)鍵內(nèi)容，包括標題和視頻素材。同時考慮呈現(xiàn)流、源設計和輸出約束，將它們轉(zhuǎn)換為視頻（12秒的橫向視頻；下）

為了評估自動生成的視頻，我們與Google的設計師展開了一項用戶研究。研究結(jié)果表明，URL2Video從網(wǎng)頁中有效提取了設計元素，并通過引導視頻創(chuàng)作過程為設計師提供了支持。

未來計劃

雖然當前的研究重點是視覺呈現(xiàn)，但我們也在開發(fā)支持視頻編輯中的音軌和配音的新技術(shù)。總而言之，在我們設想的未來中，創(chuàng)作者可以專注于高級決策，由ML模型交互式地建議詳細的時間和圖形編輯，最終實現(xiàn)多平臺的視頻創(chuàng)作。

致謝

我們非常感謝我們的論文合著者Zheng Sun(Research)和Katrina Panovich(YouTube)。我們還要感謝為URL2Video做出貢獻的同事：Jordan Canedy、Brian Curless、Nathan Frey、Madison Le、Alireza Mahdian、Justin Parra、Emily Ryan、Mogan Shieh、Sandor Szego和Weilong Yang（按姓氏字母順序排列）。我們非常感謝領(lǐng)導層Tomas Izo、Rahul Sukthankar和Jay Yagnik的支持。