OpenAI文生影片AI工具Sora已釋出數十個影片,展現了AI文生影片的新可能。第一財經記者了解到,隨著多個文生圖、文生影片軟件釋出,已有不少影片制作者開始制作AI影片。
例如,近日釋出的一個用AI技術生成的【西遊記】近4分鐘動畫短片展現了石猴從降生到拜師學藝的過程,花果山水簾洞內的水流、植物和擺設錯落,天庭依山而建,影片還展示了孫悟空乘船前往城鎮、來到靈台方寸山的過程。畫面中,山巒煙霧繚繞,水面有落葉等細節,模組屋呈現了古代著裝的行人、門樓和商店。這段影片釋出在抖音和bilibili上,在bilibili有超70萬觀看。另一個與AI制作的【大鬧天宮】預告片在bilibili上有超100萬播放量,畫面中,天庭的座椅、服飾透露著莊嚴,鏤空的器皿顯現出設計細節,人物面部表情自然。
一些AI制作的MV或預告片、宣傳片也在影片平台上獲得數十萬播放量。例如,一個動物版【恭喜發財】MV有多個小狗穿著紅色傳統服飾的畫面,並演奏多種樂器、騎單車、寫毛筆字,畫面細節豐富,動物毛發細節清晰。廣西衛視也在網上放出了全AI制作的龍年宣傳片。據記者觀察,這些AI影片的共同點是畫面清晰且富有細節,但每個分鏡的時長只有幾秒,人物講話時還未能匹配適合的嘴型,畫面的連貫性和敘事性相比影視仍存在距離,這些特點使目前AI影片更適合制作預告片、MV等對敘事要求不高、對畫面沖擊力要求較高的中短影片。
與影片創作者已在使用的多個AI影片制作工具不同,Sora在影片時長上有明顯優勢,可直接生成60秒影片,但Sora目前還未對外開放使用。記者發現,不少AI制作影片都使用AI繪圖工具先生成圖片,再使用圖生影片工具生成AI影片。例如,以上近4分鐘的【西遊記】動畫的創作工具是AI繪圖工具Midjourney和圖生影片工具Runway,構思階段采用了ChatGPT分析原著文字並規劃分鏡,隨後透過剪映剪輯。以上【大鬧天宮】預告片也使用Midjourney和Runway制作,劇本設計使用了大語言模型輔助。
釋出以上【西遊記】動畫的博主「AI瘋人院」從事美術工作15年,他表示,該影片如果人工制作至少需要半年,而自己在AI的幫助下一周就完成了。但他同時指出,繪圖和圖片生成影片的過程還會產生廢稿,AI還很難完全理解創作者的意圖,存在隨機性。釋出【大鬧天宮】預告片的博主則在評論中稱,AI叠代太快,要做成三個半小時的電影預計可以在兩年內。但也有網友針對AI影片評論稱,AI生成仍顯得僵硬、像PPT、風格仍不夠貼合主題。
市面上目前可生成AI影片的工具還包括谷歌Gemini、阿裏雲12VGen-XL等。阿裏雲在一個影片中介紹,生成影片不需美術和編導基礎,創作者可以在魔搭創空間找到MotionAgent AI套用,透過該套用,在生成劇本時用到Qwen-7B-Chat大模型,在文生圖時使用Stability的SDXL模型,再由圖片生成影片,阿裏雲的影片生成軟件是開源的12VGen-XL,音樂也可以透過提示詞AI生成。
有影視制作者向第一財經記者表示,AI技術已在影片制作中套用,在平面設計上效果很好,但在AI影片中,目前逐幀光影銜接還有問題,從Sora放出的影片看,也存在逐幀的銜接問題。
2023年至今,與AI影片、圖片相關的技術還在持續叠代。例如,此前香港科技大學、螞蟻團隊、浙江大學CAD&CG實驗室合作的專案CoDeF,其演算法能根據提示詞對影片進行風格轉換,香港大學、阿裏巴巴和螞蟻集團的新成果Anydoor可實作圖片中物體瞬間移動,學界還有研究團隊探索影像修復和還原技術。