8月1日，中國科學院院士、清華大學人工智慧研究院名譽院長張鈸在ISC.AI 2024第十二屆互聯網安全大會表示：
目前大模型的4個發展方向，這4個發展方向對今後如何改進大模型非常重要。
一是與人類對齊。剛才我們說大模型判斷對錯能力比較差，現在人類要幫助它，人類幫助它進行改進，這就是與人類對齊的。最主要透過人類在閉環裏，它執行以後，如果有錯誤，我們告訴它有錯誤，就是在人類的驅動下改正它的錯誤。因為它錯誤需要人類提示的，剛才說過，它判斷對錯的能力比較差，需要外部的提示。所以，這點是我們做的第一件工作。
二是多模態生成。多模態生成將來對產業的發展非常重要，因為大家看到大模型主要是生成文本，ChatGPT生成文本。但是我們用同樣的辦法生成影像、聲音、視訊、程式碼之後，而且生成的水平是跟人類的水平接近的。比如說生成程式碼，不止生成程式碼，而且相當於編程人員的水平。為什麽會看到這樣？大模型有個重要的突破就是對「文本的處理」，原來只是對文本形式的處理，現在變成文本內容的處理。所以，我們現在做的為什麽影像能生成的那麽好，主要是把影像跟文本掛起鉤。因為文本電腦能處理內容，只要把影像跟文本掛鉤，電腦也能處理影像的內容，影像的語意。所以，所有的圖像處理也會起到質的變化，大家看到我們把影像也好、聲音也好、視訊也好，都是跟文本掛鉤的，這才能實作它們的突破。程式碼本身就是個形式語言，比自然語言還容易，自然語言都能處理了，形式語言更好理解。所以，最本質的是文本處理的突破。
三是AI Agent（智慧體）的概念，先把大模型與周圍的虛擬環境結合起來，結合起來重要的作用是什麽？就是讓環境提示它的錯誤，因為一件事做了以後才能知道對和錯。而且模擬環境對我們來講是非常重要的，可以任意的生成，然後智慧體自動生成。比如自動駕駛，美國人生成了大量的數位環境，先讓自動駕駛在數位環境裏進行駕駛，最後才到實際環境中。這跟智慧體的概念是非常重要的，就是要跟環境結合起來，讓環境提示智慧體，讓它有反思的機會，去改正錯誤。
四是具身智慧。就是把機器人加上去，使得它在物理世界裏還能工作。這裏我的觀點將來如何發展通用的機器人？我認為是軟體通用，硬體多樣化。現在馬斯克宣傳人形機器人，人形機器人是很重要的方面，但是我認為間來不止限於人形機器人，不僅需要這個，將來還有很多硬體，所以硬體應該多樣化。
