魚羊 發自 凹非寺
量子位 | 公眾號 QbitAI
啊？Sora火爆短片【氣球人】，也「造假」了？？？
背後藝術家團隊的最新揭秘，可謂一石激起千層浪：
原來，影片畫面並非完全由AI生成，其中有大量視覺效果需要人類後期實作
。
be like：
這下網友不幹了，合著大家夥兒跟OpenAI玩真心，OpenAI背後卻耍起心眼子來了：
他們含糊其辭，就是希望觀眾認為短片完全是AI生成的，這是不是有點不誠實了啊。
這不是人工智能生成的影片，而是使用了一些AI技術的影片。
還有網友直接開噴：誤導性行銷！這是誤導性行銷！
究竟是怎麽個事兒，咱們還是具體捋一捋。
揭秘Sora大片工作流
盡管OpenAI一開始就介紹了，【氣球人】這樣的短片出自藝術家團隊之手，他們只是把Sora開放給了藝術家使用，但官方並未提及短片具體是如何制作而成的。
現在，【氣球人】背後的藝術家團隊Shy Kids自己來了個大揭秘，內容包括：
影片片段一致性如何實作
他們如何處理Sora生成的影片素材
Sora生成影片的局限性及後期處理
影片一致性
【氣球人】中主角形象的一致性可謂驚艷眾人。
但實際上吧，據Shy Kids團隊中負責後期制作的老哥Patrick Cederberg（簡稱老帕）透露，想要實作這種前後一致並不是寫寫提示詞就能成的。
Sora並沒有提供工具，來幫助實作不同鏡頭之間的主體一致性。也就是說，哪怕提示詞都是一樣的，兩次執行的結果也會有所不同。
他們的做法是，盡可能詳細地去對主角形象進行描述。
解釋角色的服裝以及氣球的類別是我們解決一致性問題的方法，目前Sora還沒有整合適當的功能來實作此類控制。
即便如此，團隊在用Sora生成影片素材時還是遇到了不少這樣那樣的問題。
比如，提示詞裏明明寫了氣球是黃色的，但Sora生成的片段裏氣球卻可能變紅。
影片素材處理
一致性之外，老帕提到，在時間軸方面，Sora允許使用者修改關鍵幀。但這種時間控制並不精準，無法保證一定能實作預想的效果。
另外，想要實作這個鏡頭：
即把鏡頭焦點從牛仔褲一路上移到氣球頭，也得人類自己後期裁切平移畫面，因為Sora本身不會渲染這樣的鏡頭：它總是傾向於把焦點集中在氣球頭上。
老帕還談到，他們在寫提示詞時也遇到了一些問題：
OpenAI在讓藝術家試用Sora前，並沒有考慮到真正的電影制作人是如何思考的。
簡單來說，就是Sora對攝影術語（比如跟拍、平移等）的理解有限。老帕認為，這一點上Sora不如Runway。
值得一提的是，盡管Sora原生支持生成1080p影片，但老帕他們實際上生成的素材都是480p的。他們是在後期使用Topaz等工具對影片素材進行了超分處理。
生成速度方面，根據老帕的回憶，每次大概需要10-20分鐘的時間。
影片後期
接下來，就到了網友們反應最強烈的部份——後期。
前面已經說到，Sora本身還解決不了不同影片片段裏一致性的問題。
除了氣球不一定符合設定，或許是因為訓練數據的原因，Sora還喜歡自動給氣球加上奇奇怪怪的人臉。
給主角生成其實並不需要的假人頭。
Sora還很堅定地認為氣球得帶根繩。
總而言之言而總之，這些都需要老帕上手丟到AE裏，進行後期處理。
另外，盡管Shy Kids發現「35mm菲林」這樣的關鍵詞很好用，能讓Sora生成的影片畫面風格更一致，但藝術家們仍需要為最後的成片做調色，為畫面添加顆粒和閃爍效果，以使整部影片畫面更加協調統一。
老帕還提到了一個有意思的細節：
Sora很喜歡慢鏡頭。
我不知道為什麽，但有很多鏡頭看上去都是0.5倍速和0.75倍速。
因此我們需要對大量畫面進行調速，免得影片看上去像個大型慢動作專案。
那麽，Sora生成的影片素材有多少最終被用在了影片裏？
「數學很差」的老帕估計了一下，大概是300:1
。
音訊方面，Sora目前還不能生成聲音，因此旁白和音樂都是團隊自己加上去的。
版權
為了不侵犯版權，OpenAI給Sora上了一些限制。
比如，你不能把提示詞寫成「35mm菲林，未來宇宙飛船中，一名男子拿著光劍靠近」，那樣Sora會直接拒絕生成，因為這畫面太像【星際大戰】了。
哦對，像什麽「阿羅諾夫斯基式鏡頭」和「希區柯克變焦」也是不行的。
3人團隊2周制作完成
該說不說，在外界卷起風波之前，Shy Kids團隊對於Sora的表現還是很滿意的。
畢竟，制作【氣球人】這樣一個高質素短片，最後只用了他們仨1.5到2周的時間。
團隊認為，現在，對於專業的電影團隊來說，Sora當然還有很大進步空間，但對於大部份人而言，Sora已經足夠驚艷。
用老帕自己的話說：
我覺得人們應該將Sora變成工作流裏的一部份。
不過，如果他們不想跟AI沾邊，也沒關系。
對於這樣的觀點，也有不少網友表示認同，認為Sora這樣的影片生成AI，是對現有工作流很好的補充。
Adobe把它們整合進軟件裏，就是一個很不錯的主意。
但，「我厭倦了OpenAI們的精美Demo行銷」。
還有網友不滿的點在於，爆火的「人工智能生成影片」背後有大量的人類工作，他們投入數百個小時工作，卻被AI掩蓋了真實的價值。
那麽，這事兒你怎麽看？
參考連結：
[1]https://www.fxguide.com/fxfeatured/actually-using-sora/
[2]https://twitter.com/bilawalsidhu/status/1783544598259794046
