本文作者：李丹
來源：硬AI
OpenAI的Sora迎來勁敵，Meta推出號稱最先進的媒體基礎模型Movie Gen。
Meta稱，Movie Gen是公司「針對媒體的突破性生成式AI研究」，它囊括了影像、視訊和音訊等模態，使用者只需輸入文本，就可以制作自訂的視訊和聲音、編輯現有視訊，以及將個人影像轉換為獨特的視訊。Movie Gen執行這些任務的表現在人類評估中由於業內類似模型。
Meta介紹，Movie Gen是「最先進、沈浸式效果最佳的故事講述模型套件」，綜合了公司第一波生成式AI媒體研究的Make-A-Scene 系列模型，即可建立影像、音訊、視訊和 3D 動畫的模型，以及隨著擴散模型出現而針對Llama Image 基礎模型進行的第二波研究模型，即可實作更高品質影像和視訊生成以及影像編輯的模型。
文生視訊最長16秒 130億參數音訊生成模型 人工評測視訊生成對Sora凈勝率8.2
Meta概括，Movie Gen 具有四種功能：視訊生成、個人化視訊生成、精確視訊編輯、音訊生成。
對於視訊生成，Meta介紹，使用者只要提供一個文本的提示詞，Movie Gen就可以利用針對文本轉影像和文本轉視訊進行了最佳化的聯合模型，建立高畫質的高品質影像和視訊。Movie Gen的視訊模型有300億參數，這個轉換模型能以每秒16幀的速度生成最長16秒的視訊。
Meta稱，發現這些模型可以推理物體的運動、拍攝主體與物體之間的交互作用，以及相機的運動，並且可以學習各種概念了解有哪些合理的運動，因此，它們成為同類中最先進的模型。在介紹該功能時，Meta展示了多個10秒長度的視訊短片，包括一只像萌翻網路的彈跳豬「Moo Deng」那樣的小河馬遊來遊去。
華爾街見聞註意到，單從生成視訊的最大長度看，Movie Gen還不敵今年2月OpenAI釋出的Sora。Sora令業界震撼的一點是，可以建立長達60秒的文生視訊，。不過，相比Meta去年11月官宣的視訊模型Emu Video，Movie Gen確實進步不小。Emu Video只能以每秒16幀的速度生成最長4秒的視訊。
除了直接文生視訊，Movie Gen還有出色的個人化視訊制作能力。Meta介紹，其擴充套件了前述基礎模型，支持生成個人化視訊。使用者可以提供某個人的影像，配合文本的提示詞，讓Move Gen生成的視訊包含參考影像中的人物，以及符合文本提示的視覺細節。Meta稱，在建立保留人類身份和動作的個人化視訊方面，其模型取得了最先進的成果。
Meta展示的一個視訊顯示，使用者可以提供一個女孩的照片，輸入文字「一名身穿粉色馬甲的女DJ播放唱片，她身旁有一只獵豹」，然後就生成了以照片中女孩形象的DJ打碟，以及一只獵豹陪伴。
在精確視訊編輯方面，Meta稱，Movie Gen采用了同一基礎模型的編輯變體模型，在使用者輸入視訊和文本提示詞後，精確執行任務，生成所需的輸出。它將視訊生成與高級影像編輯相結合，執行局部編輯，例如添加、刪除或替換元素，以及諸如背景或樣式修改的全域更改。與需要專業技能或缺乏生成精確度的傳統工具不同，Movie Gen 保留了原始內容，僅針對相關像素編輯。
Meta提供的範例之一是，使用者輸入，讓企鵝穿上有英國女王維多利亞在位時期服飾風格的服裝，Movie Gen生成的企鵝穿上了帶蕾絲的紅色女裙。
對於音訊生成，Meta稱，訓練了一個130億參數的音訊生成模型，該模型可以接受視訊和可選的文本提示詞，生成長達 45 秒的高品質高保真音訊，包括環境音、擬聲音效（Foley）和樂器背景音樂，所有這些都與視訊內容同步。此外，Meta引入了一種音訊擴充套件技術，可以為任意長度的視訊生成連貫的音訊，在音訊品質、視訊到音訊對齊和文本到音訊對齊方面總體上實作了最先進的效能。
Meta提供的一個例子是，生成在吉他音樂的伴奏下，全地形車（ATV）引擎轟鳴加速的聲音，還有一個例子是，管弦樂聲中有樹葉沙沙作響和樹枝折斷的聲音。
Meta還展示了針對以上四種能力進行的A/B對比測試人工評估結果，下圖顯示的凈正值勝率代表，相比Sora等競品模型，人類評估者更青睞Movie Gen模型生成的結果。在直接生成視訊這個功能方面，Movie Gen相比Sora的凈勝率達到8.2。
基於授權和公開可用數據訓練 未明確何時釋出 祖克柏稱明年上線Instagram
Movie Gen 是基於哪些資訊進行訓練的？Meta 的聲明沒有說明具體細節，只是說：「我們基於授權和公開可用的數據集對這些模型進行了訓練。」
有評論指出，對生成式 AI 工具而言，訓練數據的來源以及從網上抓取哪些數據合理仍然是有爭議的問題，而且公眾很少知道使用哪些文本、視訊或音訊片段建立了任何大模型。
還有評論稱，Meta說訓練用的數據集是「專有/商業敏感」的，未提供細節，那麽只能猜測，封包括很多Instagram 和 Facebook 平台的視訊，加上一些Meta合作夥伴的內容，以及其他很多未得到充分保護的內容、也就是所謂的「公開可用」內容。
對於釋出時間，Meta本周五並未明確Movie Gen何時面向大眾推出，只是含糊地說「可能未來釋出」。今年2月OpenAI官宣Sora後迄今還未真正向公眾開放使用，也並未透露任何計劃將要釋出的日期。
不過，Meta CEO祖克柏稱，Movie Gen明年會上線Meta旗下的社交媒體Instagram。他在個人Instagram帳號釋出了一段Movie Gen生成的視訊，顯示他在用腿部推舉機，隨著他開始鍛煉，背景發生了變化。先是顯示，他在一家霓虹燈照耀的未來風格健身房鍛煉，然後變為，他穿著角鬥士盔甲鍛煉，接著變為他推動一台燃燒的純金機器，最後變為，他用腿部推舉一盒雞塊，周圍是一片薯條。
祖克柏配上文字稱，Meta新的 MovieGen AI 模型可以制作和編輯視訊，每天都是煉腿的日子。該模型將於明年登陸 Instagram。
在社交媒體X，Meta官宣並演示Movie Gen的貼文下面，一些點贊高的評論顯示，網友已經在催促Meta正式釋出該模型，有網友問，不知道大家有沒有機會來試試它。
本文來自華爾街見聞，歡迎下載APP檢視更多
