編譯 | 汪越
編輯 | 程茜
智東西10月16日訊息，10月14日，Adobe在Adobe MAX大會上宣布推出Firefly視訊生成模型，並強化了現有的影像、向量和設計模型。Firefly視訊模型已進入有限公開測試階段，成為第一個可安全用於商業用途的生成式AI視訊模型。
最新的Firefly影像模型Firefly Image 3將允許使用者在幾秒內生成影像，速度較上一版提升了四倍。同時，基於Firefly視訊生成模型，Premiere Pro進行了重要更新。Premiere Pro新增了三個主要功能，分別是文生視訊、圖生視訊和生成擴充套件（Generative Extend）。
▲使用生成擴充套件填補視訊素材缺失片段（視訊來源：Adobe）
透過文生視訊功能，使用者可模擬調整攝影機角度、運動和縮放等參數，進一步細化視訊；透過圖生視訊功能，使用者可在文本提示旁邊另外添加參考影像，以生成更符合想象的視訊。使用者甚至可以透過一張靜圖重制現有視訊，實作視覺上的再加工；透過生成擴充套件功能，使用者可直接對視訊進行微調，而不至於重新拍攝。
使用者在使用這三個功能時，均需要等待大約90秒才能生成視訊。采用文生視訊和圖生視訊功能生成的視訊最長為5秒，分辨率最高為720P，幀率為每秒24幀。采用生成擴充套件功能的視訊最多可延長2秒，視訊背景音效延長10秒。
▲使用文生模型生成視訊（視訊來源：Adobe）
Firefly視訊模型作為Adobe生成式AI套件的擴充套件，已經被整合到其雲端套裝軟體Adobe Creative Cloud的多款套用中，包括修圖軟體PS、向量圖形設計軟體Illustrator、內容創作工具Adobe Express和視訊編輯軟體Premiere Pro等，以支持各種創意工作流程。自2023年釋出以來，Firefly已累計生成超過130億張影像，僅過去六個月就生成60億張。
一、Firefly進行公開測試，AI視訊最多可生成5秒，視訊擴充套件最多延長2秒
本次視訊編輯軟體 Premiere Pro 的重大更新，一是幫助使用者自動擴充套件開頭片尾，二是模擬相機進行一鍵調參，三是實作視訊一鍵重拍。
1. 生成擴充套件：適合微小調整，視訊最多延長2秒，音效最多延長10秒
生成擴充套件由Firefly模型支持，現已在Premiere Pro Beta版本中進行測試。該工具能夠實作視訊素材的自動擴充套件，填補視訊空白、實作畫面平滑過渡，以及延長視訊的開頭片尾。
延長視訊，即如果視訊的開頭或結尾略短，生成擴充套件功能可自動進行素材填充。生成擴充套件功能還可以幫助微調視訊中景，即它能發現拍攝過程中的視線偏移或意外移動，並進行糾正。
目前，生成擴充套件功能最多支持視訊延長2秒，以此滿足使用者微調視訊的需要，一定程度上免去重新拍攝素材的麻煩。生成擴充套件功能的分辨率是720P或1080P分辨率，24幀每秒。
此外，生成擴充套件功能也能用於音訊剪輯，它可以將視訊中的音效或環境背景音擴充套件最多十秒鐘，但不會延長語音對話或音樂。
▲新生成擴充套件工具可以填補通常需要完全重新拍攝的素材中的空白（圖源：Adobe）
2. 文生視訊：可仿照攝影機直接調參，最多生成5秒視訊
Adobe的文生模型和圖生模型於9月份首次釋出，目前正在Firefly Web應用程式中作為有限的公開測試版推出。
文生模型的功能與Runway和OpenAI的Sora等其他視訊生成器類似，使用者只需輸入想生成的視訊的文本描述即可。該文生模型可以模擬真實電影、3D動畫和定格動畫等多種風格來生成視訊。
此外，使用者可以透過文生模型，仿照攝影機調節視訊拍攝參數。使用者可以透過模擬攝影機角度、運動和拍攝距離等，來進一步細化生成的視訊。
▲透過相機控制選項來調整生成影像的範例（圖源：Adobe）
3、圖生視訊：一張圖直接重制視訊，但無法完全替代重拍
圖生視訊相較於文生視訊，在功能上更進一步。圖生視訊允許使用者在文本提示的基礎上，添加參考影像，以生成更符合想象的視訊。
使用者還可以上傳已有視訊的單幀，一鍵建立完整的特寫鏡頭，來制作視訊花絮。
圖生視訊模型可實作視訊重拍。使用者可以上傳靜態圖片來重新制作視訊，直接對原視訊中的人物動作進行操作和修改，實作視覺上的再加工。
然而，科技媒體The Verge的測試表明，這項技術目前還無法完全替代重新拍攝，其生成結果存在瑕疵。例如，測試中出現了電纜晃動和背景移動等問題，生成的視訊在某些細節處理上不夠精確。
▲原始剪輯（視訊來源：Adobe）
▲使用影像到視訊工具「重制」鏡頭，註意看黃色電纜搖晃了（視訊來源：Adobe）
目前，Adobe的文生視訊和圖生視訊，二者生成的視訊時長均最多5秒，最高分辨率為720P，幀率為每秒24幀。OpenAI的Sora聲稱可以生成長達一分鐘的視訊，並能在保持視覺品質的同時滿足使用者的提示要求，但其並未向公眾開放使用。
▲該模型僅限於生成大約4秒長的剪輯。幼龍在巖漿中爬行的範例（視訊來源：Adobe）
二、增強影像、向量和設計模型功能更新，Firefly Services將支持批次建立
自2023年推出以來，Firefly陸續被引入PS、Express、Illustrator、3D繪圖軟體Substance 3D中，並支持Creative Cloud應用程式中的各種工作流程。
本次更新，Adobe在PS中推出了全新的AI生成工作區（測試版），由Firefly模型支持。它能幫助設計師進行創意構思和叠代，簡單操作即可生成視覺效果。
同時，Adobe更新了Illustrator，並引入最新的Firefly向量模型（測試版）。新功能包括生成形狀填充、重新著色和文本到圖案等，設計師可以快速生成和最佳化向量圖形，並控制圖案中元素的密度，靈活調整設計復雜度，實作個人化創作。
此外，Adobe預覽了一款新功能Project Concept，旨在促進團隊協作中的創意開發。該功能允許多人在同一畫布上即時構思和重新混合影像內容。
▲Project Concept範例（圖源：Adobe）
今年3月，Adobe推出了面向企業的創意和生成API集合Firefly Services。 Firefly Services支持企業自有數據對模型進行客製、微調，同時可以與PS、Illustrator、Express等Adobe產品結合使用，簡化創意流程。
本次產品更新，Firefly Services將支持 配音和唇形同步功能，目前這兩個功能已進入測試階段。使用者可以利用生成式AI將視訊中的口語對話轉譯成不同語言，同時確保唇形與原始聲音匹配同步。
另外，Firefly Services還將支持批次建立，簡化影像大小調整、背景刪除等任務。
迄今為止，已有多個知名客戶使用了Adobe Firefly Services，包括PepsiCo/Gatorade、IBM、Mattel、IPG Health和德勤等。他們透過Firefly最佳化工作流程並擴充套件內容建立，使創意人員能有更多時間探索創意願景。
三、Firefly訓練數據合法且豐富，支持超過100種語言文本提示
商業可用性是AI視訊生成行業的關鍵問題。此前，Runway公司在訓練其AI視訊生成工具Gen-3時，涉嫌非法使用了大量YouTube視訊和盜版電影，侵犯了內容創作者權益並違反了YouTube使用規則。
Adobe強調其AI功能根據公司制定的AI道德原則開發，強調問責制、責任和透明度。Adobe表示其基於AI視訊模型支持的工具是「商業安全的」。Firefly的訓練數據來源於Adobe授權內容（如Adobe Stock）和公共領域內容，能夠確保生成作品的安全性和合規性。
Firefly支持超過100種語言的文本提示。自2019年創立內容真實性計劃以來，Adobe廣泛采用內容憑證作為數位內容透明度的行業標準。該內容憑證目前已獲得3700多名成員的支持。
內容憑證就像數位內容的「營養標簽」。使用者在Creative Cloud中選擇Firefly支持的功能時，內容憑證將標明生成式AI的使用情況。此外，內容憑證也會嵌入使用者使用Firefly建立或編輯的視訊，以披露AI的使用和所有權。
結語：Adobe正式入局AI視訊生成，與OpenAI等展開競爭
從去年3月釋出第一版 Firefly ，到今年首次公開測試， Adobe在AI視訊生成技術商業化套用上邁出了重要一步。
現階段，Adobe的圖生視訊模型無法完全替代重新拍攝，生成結果仍存在瑕疵。而且相較於宣稱能生成一分鐘視訊的Sora，Adobe的文生視訊和圖生視訊的最大長度僅為5秒。但是，Adobe的這些工具至少是公開可用的。OpenAI的Sora、Meta的Movie Gen和Google的Veo等AI視訊生成工具的內容均還不可用。
在有限公開測試階段， Firefly 相關產品免費使用，使用者也可前往官網申請加入候補名單。
目前，Adobe尚未宣布任何客戶使用其視訊生成工具。但據Adobe透露，百事可樂旗下的運動飲料品牌佳得樂將在一個網站上使用其影像生成模型，顧客可以在該網站上購買客製版瓶子。全球最大的玩具公司美泰一直在使用Adobe工具來幫助設計其芭比娃娃系列的包裝。
面對OpenAI、Runway、Google和Meta等競爭對手，Adobe將未來押註在使用合法數據訓練的模型上，以確保其AI生成內容可在商業作品中合法使用。
Firefly視訊模型憑借其使用授權內容的訓練數據，確保了生成內容的版權合規性。這一優勢使得生成的內容能夠合法套用於商業計畫，這對企業和品牌而言非常重要。而其他視訊生成模型則因訓練數據來源不明或未經授權，頻頻卷入版權和道德爭議。
來源：Adobe、The Verge、路透社
