當前位置: 華文世界 > 科技

用大模型制作劇本、生成視訊 有博主已獲百萬播放量

2024-02-19科技
OpenAI文生視訊AI工具Sora已釋出數十個視訊,展現了AI文生視訊的新可能。第一財經記者了解到,隨著多個文生圖、文生視訊軟體釋出,已有不少視訊制作者開始制作AI視訊。
例如,近日釋出的一個用AI技術生成的【西遊記】近4分鐘動畫短片展現了石猴從降生到拜師學藝的過程,花果山水簾洞內的水流、植物和擺設錯落,天庭依山而建,視訊還展示了孫悟空乘船前往城鎮、來到靈台方寸山的過程。畫面中,山巒煙霧繚繞,水面有落葉等細節,模組屋呈現了古代著裝的行人、門樓和商店。這段視訊釋出在抖音和bilibili上,在bilibili有超70萬觀看。另一個與AI制作的【大鬧天宮】預告片在bilibili上有超100萬播放量,畫面中,天庭的座椅、服飾透露著莊嚴,鏤空的器皿顯現出設計細節,人物面部表情自然。
一些AI制作的MV或預告片、宣傳片也在視訊平台上獲得數十萬播放量。例如,一個動物版【恭喜發財】MV有多個小狗穿著紅色傳統服飾的畫面,並演奏多種樂器、騎自由車、寫毛筆字,畫面細節豐富,動物毛發細節清晰。廣西衛視也在網上放出了全AI制作的龍年宣傳片。據記者觀察,這些AI視訊的共同點是畫面清晰且富有細節,但每個分鏡的時長只有幾秒,人物講話時還未能匹配適合的嘴型,畫面的連貫性和敘事性相比影視仍存在距離,這些特點使目前AI視訊更適合制作預告片、MV等對敘事要求不高、對畫面沖擊力要求較高的中短視訊。
與視訊創作者已在使用的多個AI視訊制作工具不同,Sora在視訊時長上有明顯優勢,可直接生成60秒視訊,但Sora目前還未對外開放使用。記者發現,不少AI制作視訊都使用AI繪圖工具先生成圖片,再使用圖生視訊工具生成AI視訊。例如,以上近4分鐘的【西遊記】動畫的創作工具是AI繪圖工具Midjourney和圖生視訊工具Runway,構思階段采用了ChatGPT分析原著文字並規劃分鏡,隨後透過剪映剪輯。以上【大鬧天宮】預告片也使用Midjourney和Runway制作,劇本設計使用了大語言模型輔助。
釋出以上【西遊記】動畫的博主「AI瘋人院」從事美術工作15年,他表示,該視訊如果人工制作至少需要半年,而自己在AI的幫助下一周就完成了。但他同時指出,繪圖和圖片生成視訊的過程還會產生廢稿,AI還很難完全理解創作者的意圖,存在隨機性。釋出【大鬧天宮】預告片的博主則在評論中稱,AI叠代太快,要做成三個半小時的電影預計可以在兩年內。但也有網友針對AI視訊評論稱,AI生成仍顯得僵硬、像PPT、風格仍不夠貼合主題。
市面上目前可生成AI視訊的工具還包括谷歌Gemini、阿裏雲12VGen-XL等。阿裏雲在一個視訊中介紹,生成視訊不需美術和編導基礎,創作者可以在魔搭創空間找到MotionAgent AI套用,透過該套用,在生成劇本時用到Qwen-7B-Chat大模型,在文生圖時使用Stability的SDXL模型,再由圖片生成視訊,阿裏雲的視訊生成軟體是開源的12VGen-XL,音樂也可以透過提示詞AI生成。
有影視制作者向第一財經記者表示,AI技術已在視訊制作中套用,在平面設計上效果很好,但在AI視訊中,目前逐幀光影銜接還有問題,從Sora放出的視訊看,也存在逐幀的銜接問題。
2023年至今,與AI視訊、圖片相關的技術還在持續叠代。例如,此前香港科技大學、螞蟻團隊、浙江大學CAD&CG實驗室合作的計畫CoDeF,其演算法能根據提示詞對視訊進行風格轉換,香港大學、阿裏巴巴和螞蟻集團的新成果Anydoor可實作圖片中物體瞬間移動,學界還有研究團隊探索影像修復和還原技術。