近日，英偉達(dá)與慕尼黑大學(xué)等院校的研究人員聯(lián)合發(fā)布了一篇有關(guān)視頻潛在擴(kuò)散模型（VideoLDM，Latent Diffusion Model）的論文，該模型能夠?qū)⑽谋巨D(zhuǎn)換成視頻，實(shí)現(xiàn)高分辨率的長視頻合成。相關(guān)論文已經(jīng)發(fā)表在預(yù)印本網(wǎng)站arXiv上。

研究人員給出“一個(gè)泰迪熊正在彈電吉他、高清、4K”等文本提示詞后，運(yùn)用VideoLDM，成功生成了相關(guān)視頻（已轉(zhuǎn)為GIF格式）：

目前，VideoLDM生成視頻的最高分辨率可達(dá)2048×1280、24幀。研究團(tuán)隊(duì)僅公布了論文和一些成品視頻案例，暫未開放試用。

據(jù)介紹，相對(duì)來說，該模型對(duì)于訓(xùn)練和計(jì)算的要求較低。在文字大模型、文生圖大模型發(fā)展迅速的當(dāng)下，受限于視頻訓(xùn)練數(shù)據(jù)的計(jì)算成本高昂以及缺乏大規(guī)模公開可用的數(shù)據(jù)集等原因，視頻大模型的發(fā)展相對(duì)較慢。VideoLDM則成功解決了這個(gè)關(guān)鍵問題。

從原理上來分析，VideoLDM基于圖像數(shù)據(jù)集預(yù)訓(xùn)練，并在此基礎(chǔ)上加入時(shí)間維度以形成視頻框架，最后在編碼的視頻序列上進(jìn)行微調(diào)，得到視頻生成器。

為進(jìn)一步提高分辨率，研究人員從時(shí)間維度將其與擴(kuò)散模型upsamplers對(duì)齊，并與真實(shí)視頻對(duì)比驗(yàn)證，從而將其轉(zhuǎn)換為時(shí)間一致的視頻超分辨率模型。

此外，研究人員還微調(diào)了Stable Diffusion，將其轉(zhuǎn)換為視頻生成器。他們通過對(duì)Stable Diffusion的空間層進(jìn)行簡單微調(diào)，然后插入時(shí)間對(duì)齊層，從

而實(shí)現(xiàn)了視頻的生成。

落實(shí)到應(yīng)用層面，研究人員給出了兩大具有潛力的應(yīng)用領(lǐng)域：一是駕駛數(shù)據(jù)的高分辨率視頻合成，能夠模擬特定駕駛場(chǎng)景，在自動(dòng)駕駛領(lǐng)域中具有巨大的應(yīng)用潛力；二是創(chuàng)意內(nèi)容的生成。

在論文中，團(tuán)隊(duì)給出了幾個(gè)駕駛場(chǎng)景視頻的生成案例：

目前，在自動(dòng)駕駛領(lǐng)域，AI大模型被認(rèn)為能夠賦能感知標(biāo)注、決策推理等環(huán)節(jié)。

華泰證券分析師黃樂平、陳旭東等于4月13日發(fā)布研報(bào)指出，AI大模型有望解決行業(yè)數(shù)據(jù)標(biāo)注準(zhǔn)確率及成本困境。該機(jī)構(gòu)以DriveGPT為例進(jìn)行分析，大模型能夠?qū)⒔煌▓?chǎng)景圖像的標(biāo)注費(fèi)用從行業(yè)平均約5元/張降至約0.5元/張。

與此同時(shí)，機(jī)構(gòu)還認(rèn)為大模型將賦能場(chǎng)景生成、軌跡預(yù)測(cè)、推理決策等環(huán)節(jié)，能夠根據(jù)駕駛場(chǎng)景序列數(shù)據(jù)，生成未來可能發(fā)生的多種駕駛環(huán)境并預(yù)測(cè)每種情況下車輛行駛軌跡。國泰君安亦指出AIGC將有助于自動(dòng)駕駛的推進(jìn)落地。