作者 | ZeR0
編輯 | 漠影
智東西7月16日報道，NVIDIA將於7月28日至8月1日在美國丹佛市舉行的頂尖電腦圖形大會SIGGRAPH 2024上展示渲染、仿真和生成式AI領域的多項最新進展，包括如何透過AI研究來提高影像質素、最佳化3D呈現方式、使仿真模擬更逼真。
據悉，這次NVIDIA Research攜20多篇論文參會，分享涉及推動合成數據生成器和逆渲染工具發展的創新成果。這些新研究進展適用於視覺生成式AI的擴散模型、基於物理的仿真以及日益逼真的AI渲染，能夠為訓練下一代模型提供助力。
其中有兩篇論文榮獲最佳技術論文獎，還有一些論文是與美國、加拿大、中國、以色列和日本的大學以及Adobe和Roblox等公司的研究人員合著的。
從落地價值來看，這些研究將有助於為開發者和企業創造出用於生成復雜虛擬物體、角色和環境的工具，幫助科學家理解自然現象，或協助機器人和自動駕駛汽車的仿真模擬訓練。
在本屆SIGGRAPH大會上，NVIDIA創始人兼行政總裁黃仁勛將與【連線】資深撰稿人 Lauren Goode進行爐邊談話，探討機器人和AI如何影響工業數碼化。
一、用擴散模型改進紋理繪制，30秒生成一致主體影像
擴散模型是文生圖常用工具，可快速生成指令碼或作品的視覺效果，縮短將創意變為現實的時間。NVIDIA有兩篇論文與此相關。
NVIDIA與特拉維夫大學的研究人員聯合開發的ConsiStory，引入了一種名為「主體驅動的共享註意力」的技術，可將生成一致主體影像所需的時間從13分鐘縮短到30秒左右，使多幅同一個主角的影像生成變得更加容易。
▲ConsiStory能夠生成一系列以同一人物為主題的影像
這項研究對於繪制連環畫或開發指令碼等敘事套用場景來說很有幫助。
去年，NVIDIA研究人員憑借將文本或影像提示轉化成自訂紋理材料的AI模型贏得了SIGGRAPH的Real-Time Live最佳展示獎。今年其研究團隊又發表了一篇介紹如何將2D生成擴散模型套用於3D網格上的互動式紋理繪制的新論文，使藝術家能夠基於任何參考影像即時繪制出復雜的紋理。
二、研究基於物理的仿真，加速模擬真實世界的運動
基於物理的仿真能縮小實物與其虛擬呈現之間的差距，使數碼物體和角色如同在真實世界中一樣運動。多篇NVIDIA Research論文介紹了相關突破性進展，包括一種更加高效的頭發建模技術、一種可將流體仿真速度加快10倍的工作流等等。
一篇與卡內基梅隆大學研究人員合著的一篇新型渲染器論文，是獲評本屆SIGGRAPH「最佳論文」的五篇論文之一。
這個渲染器不是用於物理光建模，而是能夠用於執行熱分析、靜電分析和流體力學分析，其方法易於並列化且不需要繁瑣的模型清理，為加速工程設計周期帶來了新的可能性。
▲渲染器對好奇號火星探測車進行熱分析
針對基於文本提示模擬復雜人體動作的挑戰，研究人員透過將強化學習與監督學習相結合，展示了如何訓練SuperPADL框架再現5000多種技能的動作，以及該框架如何在消費級NVIDIA GPU上即時執行。
另一篇論文介紹了一種神經物理學方法，將AI套用於學習物體（無論是以3D網格、NeRF還是由文本轉3D模型技術生成的實體物體呈現）在環境中移動時的行為方式。
三、提高渲染逼真度，模擬繞射效應提速1000倍
NVIDIA的另一組論文介紹了一些新技術，能將可見光建模速度提速最高達25倍，將模擬繞射效應（例如用於訓練自動駕駛汽車的雷達模擬）提速最多達1000倍。
路徑追蹤可對多個路徑（穿過場景的多束光線）進行采樣，從而創造出照片般逼真的圖片。ReSTIR是NVIDIA和達特茅斯學院研究人員在SIGGRAPH 2020上首次釋出的路徑追蹤演算法，是將路徑追蹤技術套用於遊戲和其他即時渲染產品的關鍵。
今年NVIDIA有兩篇SIGGRAPH論文介紹了如何提高ReSTIR的采樣質素。其中一篇論文由NVIDIA與猶他大學合著，介紹了一種重復利用計算路徑的新方法，最多可將有效采樣數增加 25 倍，大大提升了影像質素。另一種方法則是透過隨機改變光的路徑的子集來提高采樣質素。這有助於更好地執行去噪演算法，減少最終渲染中產生的視覺偽影。
▲從左到右：早前采樣、25倍改進後的樣本和參照影像之間的視覺質素比較。範例由Blender工作室提供。
NVIDIA和滑鐵盧大學的研究人員合著的一篇論文則解決了自由空間繞射問題。自由空間繞射是一種光線在物體邊緣擴散或彎曲的光學現象。其方法可以與路徑追蹤工作流整合，以提高復雜場景中模擬繞射的效率，最多可提供1000倍的加速。除渲染可見光外，該模型還可用於模擬波長較長的雷達、聲波或無線電波。
▲城市蜂窩訊號覆蓋模擬
四、教會AI用3D思維進行思考，為城市規模級3D重建提供基礎設施
NVIDIA研究人員將在SIGGRAPH上展示一些用於3D呈現和設計的多用途AI工具。
例如，NVIDIA與達特茅斯學院研究人員合著的一篇論文獲得了最佳技術論文獎，介紹了一種呈現3D物體如何與光相互作用的理論，能將各種不同的外觀統一到一個單一的模型中。
NVIDIA與東京大學、多倫多大學和Adobe Research合作撰寫的一篇論文介紹了一種可在3D網格上即時生成平滑的空間填充曲線的演算法。以前的方法需要執行幾個小時，而該框架的執行時間只需幾秒鐘，並能夠支持使用者對輸出結果進行高度控制，以實作互動設計。
還有一篇論文介紹了一種GPU最佳化的3D深度學習框架fVDB。該框架能夠匹配現實世界的規模，為實作城市規模3D模型和NeRF的大空間尺度與高分辨率以及大規模點雲的分割和重建提供了AI基礎設施。
結語：生成式AI+仿真技術，縮小現實與虛擬世界之間的距離
作為圖形與加速計算領域的領跑者，NVIDIA多年來在SIGGRAPH大會上介紹了許多覆蓋視覺計算與圖形渲染的前沿論文。這些研究進展不僅持續提升仿真建模的真實感和效率，還推動了電腦圖形學、電腦視覺、人機互動和AI技術的融合，使得模擬真實世界的相互作用日益成為可能。
憑借增強重建能力和提升仿真質素的特性，生成式AI透過正成為顯著加速模擬仿真發展的新引擎。用合成數據訓練大模型，又能加快生成式AI套用的落地。仿真與生成式AI技術的相輔相成，使得解決仿真模型與物理世界一致性難題的研究取得更多突破，最終將賦能工業制造、自動駕駛、具身智能和機器人等行業，助力解決現實世界中的各種復雜工程挑戰。
在SIGGRAPH 2024期間，NVIDIA研究人員還將舉辦NVIDIA OpenUSD日，展示開發人員和行業領導者如何透過使用和發展OpenUSD來構建AI賦能的3D工作流。
