盡管履新NVIDIA僅僅7個月，但吳新宙顯然已經非常適應現在的工作狀態。在台上的他，不僅能對AI和智慧駕駛侃侃而談，而且有時還會拋個梗，幽默一把，引得台下媒體發出一陣笑聲。
吳新宙說，過去十年是軟體定義汽車，透過OTA技術，把汽車這樣一個固定不變的硬體產品變成可以自學習、不斷變化的使用者產品。但隨著生成式AI的大規模進展，接下來AI定義汽車一定會是一個很大的趨勢。而且，生成式AI在未來會把自動駕駛的天花板進一步提升。
如同在人臉辨識、電腦視覺已經發生的三段式發展過程一樣，在吳新宙看來，自動駕駛也會是三段式的發展：剛開始第一代的自動駕駛系統是完全基於規則，有著大量人工Engineer Feature（工程師特征），透過很多演算法去完成自動駕駛這樣一個讓車自己開的動作。第二代就是現在市場上可以看到的，已經開始用大量的AI取代原有的人工Engineer Feature，現在不管是預測還是規劃都在用模型去做。第三代則會變成端到端大模型的方式。而且這個過程是不可避免的，在未來五年內就會發生。
既然不可避免，那未來的AI汽車會是怎樣的呢？吳新宙認為，屆時會比現在的自動駕駛開發簡單很多，因為它是一個大模型，更多地是集中在雲端。NVIDIA希望大部份模型都能夠在雲端完成訓練，透過數據驅動的方式，車端觸發Edge Case案例，然後透過自動數據驅動完成模型的自我叠代，也希望在雲端透過仿真完成大部份的驗證，極大地減少車端大規模裝置部署和測試的依賴性。未來的部署也可以簡化成模型更新的工作，而不是巨大的程式碼更新。
當然，AI對於汽車的影響遠不只自動駕駛領域，生成式AI對智慧座艙的提升也是巨大的。吳新宙希望未來的車端AI 計算平台既可以支持智慧駕駛，也可以支持車端智慧，包括座艙的一些配置。
要做到這一切，一顆強大的AI芯片不可或缺。NVIDIA DRIVE Thor的出現，有望把車端的仿真模型的運算能力推到下一個高點。同時，NVIDIA在DRIVE Thor上也做了大量的思考，以便能夠更好地支持LLM模型。
隨著本輪汽車革命進入到以智慧化為標誌的下半場，當前幾乎所有瞄準智慧駕駛的車企和智駕公司都在研究端到端。
吳新宙認為，端到端是自動駕駛三步曲的最終一步。不過他也強調，不能僅僅從字面上理解端到端就是從像素到動作，可能會有一些別的東西配合。比如在控制這一環，後面可能還會有最佳化幫助把控制做得更好，因為控制是數學問題，但是這個問題比較技術性。
「端到端的模型上線之前一定會有一個「護欄」，因為需要不停地最佳化和成長，要是一開始就上線端到端的模型是非常困難的」。吳新宙說，能夠把端到端模型做好的企業一定也需要非常好的第二代甚至第一代的自動駕駛堆疊。就比如，端到端的模型像是未來可以成為博士生甚至博士後的學生，但在成長的過程中需要小學老師、初中老師去帶去教，讓它能夠有時間去成長。顯然，這並不是一個一蹴而就的過程。吳新宙表示，在未來幾年，端到端的模型和原有模型的相輔相成，某些情況下比如比較難的路口處理可以顯示出更加擬人化的東西，透過原有的模型和方法保證安全性，這些是把端到端模型真正大規模部署，變成主流的一個過程。
盡管業內普遍看好端到端的前景，但同樣也擔心端到端的黑盒問題，人們並不知道神經網路內部是如何工作的。不過吳新宙覺得這個問題並非無解，首先透過原有的第一代和第二代演算法棧，可以保證端到端模型的安全性，也可以不停地判斷端到端模型決定的合理性，把雙方有差異的地方作為輸入。這有點像大語言模型訓練的反饋，能夠讓結果更加合理化。
此外，還可以嘗試給「黑盒」開幾扇窗。吳新宙說，未來的大模型、端到端模型有周邊的輸出點可以觀測，比如可以觀測DEV輸出的結果，訓練的時候也是部份訓練。可以看到訊號是怎樣的模式，透過這樣的方式在最後執行的時候不需要執行仿真，那些窗其實就是輸出口。最後正式執行的時候不一定要執行那些東西，但如果需要觀測為什麽、了解怎麽想的話可以透過那個視窗看一下。
無獨有偶，同濟大學教授朱西產日前在「智慧汽車之夜」上對於端到端黑盒的問題也表達過類似的觀點，他認為完全黑盒並不正確。人類需要在副駕駛安排一個座位，就像教練教學徒。沒危險時你可以自由發揮，一旦碰到安全邊界，教練可以隨時踩一腳剎車。
盡管挑戰重重，但吳新宙堅信可以在2026年量產L3。屆時可以完全把人從系統中拿掉。「我們的核心是讓大家在車裏不是開車，而是可以玩手機，這是大家的剛需。開車不是剛需，從A點到B點是剛需，玩手機也是剛需。」吳新宙笑著說道。
Norm Marks是一位汽車軟體領域的老將，他已經在這個行業工作了25年。然而生成式AI以及大語言模型對汽車行業的影響依然令他印象深刻。他說，自己從來沒有看到過生成式AI被采用的速度像過去的18-24個月這麽快的情況。
自動駕駛汽車1.0時代主要是基於標註影像的訓練，並在上面開發和部署深度神經網路的整合，可能會有40-50個深度神經網路從L2+層級往更高級的自動駕駛方向去走。假設有50輛測試車的車隊，每周生成的數據可能是2PB，其中只有10%-15%會得到標註，所以可以想象繼續往上走的規模會有多大。受限於此，1.0時代智駕只能走這麽遠，可以實作ADAS和領航自動駕駛LLM，或者是高速和城市環境的自動駕駛，但如果想要實作完全的自動駕駛以及最高等級的安全，需要向2.0轉型。
Norm Marks說，2.0就是基於視訊進行模型的訓練，就像真人看世界那樣，不是像1.0時代40-50張深度神經網路的部署，2.0時代是一整個大的融合世界的統一模型，基於GPT或者基於Transformer建立，采用多模態的大語言模型，包括視覺語言模型和生成式AI的其它技術。
同時，目前NVIDIA還在使用生成式數據，特別是其自研渲染工具Omniverse，它既可以部署在雲端，也可以部署在本地OES伺服器。Omniverse能夠實作數據生成，補足仿真Corner Case，從而快速轉成虛擬數據，然後進行隨機處理，衍生出更多的Corner Case。現場，吳新宙也講到了Omniverse的一些套用場景，最核心的就是可以實作統一的數位孿生，所有的資料來源收集上來以後構建起來的數位孿生是統一的檢視。
毫無疑問，自動駕駛汽車技術的發展對算力和規模都提出了更高的要求。Norm Marks預計，未來三年自動駕駛汽車2.0轉型的模型規模將增長13倍，數據儲存規模將增長17倍。Norm Marks說，從早期的工作繼續往後看，基於Transformer需要的是3000個伺服器節點，相當於24000個GPU，再往上用到最先進的GPT4作為基礎的話需要上萬的伺服器節點，到了1萬個就已經是超算的場景。
生成式AI的大爆發，NVIDIA顯然是最大的贏家，甚至沒有之一。隨著汽車智慧化的推進，NVIDIA在中國乃至世界的智駕版圖必然再次擴大。
劉通深耕中國市場多年，他表示NVIDIA在中國的汽車客戶數量非常龐大。比如全球新能源汽車銷冠比亞迪跟NVIDIA的合作就是端到端全棧式合作。包括車端芯片、DRIVE Orin、DRIVE Thor，智駕芯片、數據中心端的解決方案，GPU產品、數據中心的網路，以及NVIDIA用於AI開發和自動駕駛演算法開發或者大模型的開發的軟體系列產品NVIDIA AI Enterprise。在智慧工廠環節，NVIDIA和比亞迪也在做機器人領域的合作。劉通透露，NVIDIA與比亞迪有全系列合作，包括DRIVE Thor、DRIVE Orin、Omniverse，是最完整的合作代表。
可以想見，隨著AI定義汽車時代的到來，NVIDIA在汽車行業的地位必將得到進一步提升，王者的王冠或將更加金光閃閃。
