來源：市場資訊
來源：硬AI
OpenAI的Sora迎來勁敵，Meta推出號稱最先進的媒體基礎模型Movie Gen。
Meta稱，Movie Gen是公司「針對媒體的突破性生成式AI研究」，它囊括了影像、影片和音訊等模態，使用者只需輸入文本，就可以制作自訂的影片和聲音、編輯現有影片，以及將個人影像轉換為獨特的影片。Movie Gen執行這些任務的表現在人類評估中由於業內類似模型。
Meta介紹，Movie Gen是「最先進、沈浸式效果最佳的故事講述模型套件」，綜合了公司第一波生成式AI媒體研究的Make-A-Scene 系列模型，即可建立影像、音訊、影片和 3D 動畫的模型，以及隨著擴散模型出現而針對Llama Image 基礎模型進行的第二波研究模型，即可實作更高質素影像和影片生成以及影像編輯的模型。
文生影片最長16秒 130億參數音訊生成模型 人工評測影片生成對Sora凈勝率8.2
Meta概括，Movie Gen 具有四種功能：影片生成、個人化影片生成、精確影片編輯、音訊生成。
對於影片生成，Meta介紹，使用者只要提供一個文本的提示詞，Movie Gen就可以利用針對文本轉影像和文本轉影片進行了最佳化的聯合模型，建立高畫質的高質素影像和影片。Movie Gen的影片模型有300億參數，這個轉換模型能以每秒16幀的速度生成最長16秒的影片。
Meta稱，發現這些模型可以推理物體的運動、拍攝主體與物體之間的相互作用，以及相機的運動，並且可以學習各種概念了解有哪些合理的運動，因此，它們成為同類中最先進的模型。在介紹該功能時，Meta展示了多個10秒長度的影片短片，包括一只像萌翻網絡的彈跳豬「Moo Deng」那樣的小河馬遊來遊去。
華爾街見聞註意到，單從生成影片的最大長度看，Movie Gen還不敵今年2月OpenAI釋出的Sora。Sora令業界震撼的一點是，可以建立長達60秒的文生影片，。不過，相比Meta去年11月官宣的影片模型Emu Video，Movie Gen確實進步不小。Emu Video只能以每秒16幀的速度生成最長4秒的影片。
除了直接文生影片，Movie Gen還有出色的個人化影片制作能力。Meta介紹，其擴充套件了前述基礎模型，支持生成個人化影片。使用者可以提供某個人的影像，配合文本的提示詞，讓Move Gen生成的影片包含參考影像中的人物，以及符合文本提示的視覺細節。Meta稱，在建立保留人類身份和動作的個人化影片方面，其模型取得了最先進的成果。
Meta展示的一個影片顯示，使用者可以提供一個女孩的照片，輸入文字「一名身穿粉色馬甲的女DJ播放唱片，她身旁有一只獵豹」，然後就生成了以照片中女孩形象的DJ打碟，以及一只獵豹陪伴。
在精確影片編輯方面，Meta稱，Movie Gen采用了同一基礎模型的編輯變體模型，在使用者輸入影片和文本提示詞後，精確執行任務，生成所需的輸出。它將影片生成與高級影像編輯相結合，執行局部編輯，例如添加、刪除或替換元素，以及諸如背景或樣式修改的全域更改。與需要專業技能或缺乏生成精確度的傳統工具不同，Movie Gen 保留了原始內容，僅針對相關像素編輯。
Meta提供的範例之一是，使用者輸入，讓企鵝穿上有英國女王維多利亞在位時期服飾風格的服裝，Movie Gen生成的企鵝穿上了帶蕾絲的紅色女裙。
對於音訊生成，Meta稱，訓練了一個130億參數的音訊生成模型，該模型可以接受影片和可選的文本提示詞，生成長達 45 秒的高質素高保真音訊，包括環境音、擬聲音效（Foley）和樂器背景音樂，所有這些都與影片內容同步。此外，Meta引入了一種音訊擴充套件技術，可以為任意長度的影片生成連貫的音訊，在音訊質素、影片到音訊對齊和文本到音訊對齊方面總體上實作了最先進的效能。
Meta提供的一個例子是，生成在吉他音樂的伴奏下，全地形車（ATV）引擎轟鳴加速的聲音，還有一個例子是，管弦樂聲中有樹葉沙沙作響和樹枝折斷的聲音。
Meta還展示了針對以上四種能力進行的A/B對比測試人工評估結果，下圖顯示的凈正值勝率代表，相比Sora等競品模型，人類評估者更青睞Movie Gen模型生成的結果。在直接生成影片這個功能方面，Movie Gen相比Sora的凈勝率達到8.2。
基於授權和公開可用數據訓練 未明確何時釋出 朱克伯格稱明年上線Instagram
Movie Gen 是基於哪些資訊進行訓練的？Meta 的聲明沒有說明具體細節，只是說：「我們基於授權和公開可用的數據集對這些模型進行了訓練。」
有評論指出，對生成式 AI 工具而言，訓練數據的來源以及從網上抓取哪些數據合理仍然是有爭議的問題，而且公眾很少知道使用哪些文本、影片或音訊片段建立了任何大模型。
還有評論稱，Meta說訓練用的數據集是「專有/商業敏感」的，未提供細節，那麽只能猜測，封包括很多Instagram 和 Facebook 平台的影片，加上一些Meta合作夥伴的內容，以及其他很多未得到充分保護的內容、也就是所謂的「公開可用」內容。
對於釋出時間，Meta本周五並未明確Movie Gen何時面向大眾推出，只是含糊地說「可能未來釋出」。今年2月OpenAI官宣Sora後迄今還未真正向公眾開放使用，也並未透露任何計劃將要釋出的日期。
不過，Meta CEO朱克伯格稱，Movie Gen明年會上線Meta旗下的社交媒體Instagram。他在個人Instagram賬號釋出了一段Movie Gen生成的影片，顯示他在用腿部推舉機，隨著他開始鍛煉，背景發生了變化。先是顯示，他在一家霓虹燈照耀的未來風格健身房鍛煉，然後變為，他穿著角鬥士盔甲鍛煉，接著變為他推動一台燃燒的純金機器，最後變為，他用腿部推舉一盒雞塊，周圍是一片薯條。
朱克伯格配上文字稱，Meta新的 Movie Gen AI 模型可以制作和編輯影片，每天都是煉腿的日子。該模型將於明年登陸 Instagram。
在社交媒體X，Meta官宣並演示Movie Gen的貼文下面，一些點贊高的評論顯示，網友已經在催促Meta正式釋出該模型，有網友問，不知道大家有沒有機會來試試它。
風險提示及免責條款
市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別使用者特殊的投資目標、財務狀況或需要。使用者應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。
