當前位置: 華文世界 > 科技

騰訊釋出業界首份行業大模型調研報告:向 AI 而行,共築新質生產力|附下載

2024-05-14科技

2024年政府工作報告明確提出,要「深化大數據、人工智慧等研發套用,開展‘人工智慧+’行動,打造具有國際競爭力的數位產業集群」。近年來,大模型成為人工智慧領域的最大熱點。如何有效將大模型技術融入各行各業的實際套用,助力生產力革新和產業升級,成為業界越來越關註的核心問題,也促進了行業大模型的發展。

今日,騰訊研究院正式釋出【向 AI 而行,共築新質生產力——行業大模型調研報告】,前後歷時近1年研究,基於對超過百名各界專家訪談(百人百問),深入剖析了行業大模型的發展背景、套用進展、實作方式、安全與治理,以及未來的發展趨勢,旨在為業界提供囊括學術、商業、政策等不同視角的全面參考。

報告亮點

本報告綜合技術前沿趨勢與行業一線實踐,主要形成了十個核心問題的分析探討:

1)大模型的核心突破是什麽?

2)為什麽需要發展行業大模型?

3)行業大模型是什麽?

4)哪些行業的大模型套用發展快?

5)哪些場景的大模型套用發展快?

6)不同行業對大模型有沒有共性需求?

7)如何衡量行業大模型是否成功?

8)行業大模型有哪些實作方式?

9)行業大模型如何實作負責任的部署和套用?

10)行業大模型的未來發展方向是什麽?

專家點評

人工智慧大模型正在催生新一輪技術創新與產業變革,也將為工業、金融、廣電等行業數位化轉型和高品質發展帶來新動能。當前市場以基礎大模型為主,通識能力強,但缺少行業專業知識。如何將大模型融入千行百業,是下一階段的發展重點。

- 鄔賀銓 中國工程院院士、原副院長

「AI+制造」能夠提高生產效率、提升產品品質、實作個人化客製、最佳化資源配置、促進綠色環保、實作人才結構最佳化等,進而加快推進中國工業的五個轉型升級,實作工業的數位轉型與智慧化升級,促進新質生產力形成,使中國由制造大國向制造強國大步邁進。

- 李伯虎 中國工程院院士

AI大模型的發展正在深刻改變著各行各業的格局。然而,隨著大模型能力的持續增強,確保其真正為人類社會創造價值而非帶來威脅,成為當前AI發展的重要課題。行業大模型作為AI向善和永續發展的重要維度,其安全、可信、負責任的發展日益離不開有效的治理和安全措施。

- 鄭永年 香港中文大學(深圳)教授、前海國際事務研究院院長

廣告是市場經濟的傳感器、晴雨表和風向標。在智慧化浪潮的推動下,廣告行業正迎來前所未有的變革。大模型在廣告創意和生產、個人化推薦、效果分析等方面,已展現出巨大潛力。它正在重塑著廣告行業的未來,為品牌與消費者之間建立更加精準和深入的連結提供了可能。

- 張國華 中國廣告協會會長、國際廣告協會全球副主席

大模型的出現使得AI再次受到資本市場的廣泛關註,其核心邏輯在於大模型實作提質增效創造價值的同時,也提供了實作通用人工智慧的可能選擇。在算力、演算法、數據、場景等四個決定大模型發展的關鍵要素中,數據和場景是我們相對優勢的領域。而要更好地利用場景,成功實作商業落地,高品質的行業大模型必不可少。

- 李筱強 中國互聯網投資基金管理有限公司總經理

在大模型套用上,Hugging Face與OpenAI走向了不同的方向。OpenAI正在搭建人工智慧的封閉系統,Hugging Face是希望每個人都可以存取生成式AI模型,包括各類企業和所有普通開發者。我們堅信,開源大模型會成為新的選項,開源社群也將大有可為。

- 王鐵震 Huggine Face高級工程師

這幾年通用大模型技術快速發展,展現出越來越強的智慧,但很多傳統行業套用推進得其實並不快,因為企業有大量的具體問題解決不好。對企業而言,大模型套用需要綜合考慮行業專業性、數據安全、持續叠代和綜合成本等多種因素。針對這些現實情況,我去年就提出要重點發展行業大模型。基於行業大模型,構建自己的專屬模型,也許是企業更優的選項,尤其大部份企業的算力、數據等資源有限。

- 湯道生 騰訊集團高級執行副總裁、雲與智慧產業事業群CEO

套用場景是大模型的「磨刀石」。騰訊擁抱大模型的一個重要方式,就是積極推動騰訊自己的各類業務與自研的混元大模型結合,同時在文化消費、生產提效、科技普惠等多個領域探索落地場景,發掘大模型的真實套用價值。這也是騰訊多年來形成的務實精神的體現,把自己做試驗田,內部打磨成熟再向外推廣套用,透過「由內而外」的路線給使用者提供更好用的產品。

- 蔣傑 騰訊公司副總裁

我認為行業大模型,至少現階段是客觀存在的,通常基於通用大模型調整而來,是很多企業提高模型專業性的有效選擇,也是國家落地「人工智慧+」的最後一公裏。而決定大模型影響大小的核心因素,就在「知識密度」,密度越高的行業或場景,受影響會越大,比如教育行業、研發和設計環節等等。當然,這項研究只是起了個頭,希望能對大家有所啟發和幫助。

- 司曉 騰訊研究院院長

大模型的核心突破是什麽?

與傳統AI僅能處理單一任務相比,大模型技術透過其龐大的參數規模、強大的泛化能力以及對多模態數據的支持,展現出類似人類的通用智慧「湧現」能力,能夠學習多個領域知識、處理多種數據和任務。

OpenAI提出的「規模定律」(Scaling Law)驅動了大模型的快速發展,即:模型的效能與模型的規模、數據集大小和訓練用的計算量之間存在冪律關系,效能會隨著這三個因素的指數增加而線性提高,通俗而言就是「大力出奇跡」。傳統AI模型參數量通常在數萬至數億之間,大模型的參數量則至少在億級,並已發展到過萬億級的規模。

大模型帶來的AI效能突破,激發業界向通用人工智慧(AGI)領域進發的新熱潮。

為什麽需要發展行業大模型?

大模型存在「不可能三角」問題,即專業性、泛化性和經濟性三者很難兼得。

專業性指大模型處理特定領域問題或任務的準確性與效率。專業性要求越高,越需要針對特定領域數據進行訓練,這可能造成模型過擬合而降低泛化能力,也就是對特定領域之外的問題處理能力變差。此外,增加的數據收集和訓練也會增加成本、降低經濟性。

泛化性指大模型處理訓練數據集之外新樣本的能力。泛化性要求越高,越需要多樣化的大規模訓練數據集、模型參數量也越多,這意味著模型訓練和使用成本的增加、經濟性降低,同時可能降低模型對特定問題處理的專業能力。

經濟性指大模型訓練和套用的投入產出比。經濟性要求越高,越需要消耗更少的算力資源與成本滿足效能需要,然而降低資源消耗基本上需要采用更小的模型或更少的參數,這又會降低模型的效能表現。

GPT為代表的通用大模型以發展通識能力為主要目標、更側重泛化性,在專業性和經濟性方面目前很難充分滿足具體行業的特定需求,因此需要行業大模型來針對性解決。

行業大模型是什麽?

行業大模型指利用大模型技術,針對特定數據和任務進行訓練或最佳化,形成具備專用知識與能力的大模型及套用。如果說通用大模型是通才,行業大模型就是專才。與通用大模型相比,行業大模型核心在提高價效比、增強專業性並保障數據(特別是私有數據)安全。

業界對行業大模型還有模糊和爭議之處,本報告主要嘗試厘清三個問題:一是行業大模型既有模型、也含套用;二是行業大模型大多長在通用大模型之上,基於通用大模型進行再開發;三是行業大模型具備客製特征,本質是解決方案、而非只是一個產品。

可以這樣理解,行業大模型中的產品通常是「毛坯房」,客戶需要根據自身用途進行「裝修」才能滿足需要。例如,騰訊雲2023年中旬就依托TI平台打造了行業大模型精選商店,推出了MaaS服務,為客戶提供一站式的行業大模型解決方案,包括模型預訓練、模型精調、智慧套用開發等。

哪些行業的大模型套用發展快?

行業大模型整體處於發展早期,還沒有大規模成熟套用的範例。參考埃弗雷特·羅傑斯(Everett M. Rogers)【創新的擴散】一書中對創新階段的界定,行業大模型套用階段可劃分為探索孵化期、試驗加速期、采納成長期和落地成熟期,基於「百人百問」目前大部份行業處於前兩個階段,還沒有行業達到第四。

數位原生行業(如各類互聯網套用)是先行者,傳統行業中生產性服務業(廣告、金融等)進展相對快、重資產行業(建築、制造、能源等)進展相對慢。背後有兩個核心影響因素:需求的適配度和數據的可得性,越高的行業進展越快。

哪些場景的大模型套用發展快?

套用場景的快慢呈現「微笑曲線」特征,即產業鏈高附加價值的兩端(研發/設計和行銷/服務),大模型套用落地較快;而在低附加價值的中部(生產、組裝等),大模型套用行程較慢。原因是大模型帶來「智力即服務」的範式變化,特別適配微笑曲線兩端的知識密集型和服務密集型領域。

行銷/服務環節進展最快,跨行業通用性強是重要原因。基於機構自有知識庫的內容生成與智慧對話,能使行銷和服務活動的效率和體驗得到顯著提升,成為各行業嘗試套用大模型的普遍先行領域,如基於廣告大模型的素材生成和精準投放、智慧客服機器人搭載知識庫提供專業的個人化服務等。

研發/設計環節結合最深,高品質專業數據集決定行程。文案、影像、程式碼等有大量基於互聯網的開放、開源數據集,這些領域進展最快;有高品質、大規模開放數據集的科研領域進展也較快,典型像DeepMind的AlphaFold。

生產/制造環節進展相對慢,對人的輔助增強是目前主要結合點。目前大模型的能力主要體現在自然語言和影像的處理上,並不直接適用於生產制造環節復雜的數值計算、時序分析和即時決策等場景,套用側重在對人的輔助增強,以對話助手(Copilot)為主要形態,結合工業軟體在工業仿真、生產監控、故障排查等環節輔助人提升處理能力,如西門子與微軟合作推出了Siemens Industrial Copilot。

不同行業對大模型有無共性需求?

雖然不同行業與大模型結合的進展和側重點存在差異,但也存在三大共性需求。

一是內容生成與創意設計。主要運用大模型展現出的生成能力,包括文本生成、影像生成及程式碼、表格等泛文本生成能力,套用在文案制作、圖表設計、程式碼編寫等方面。

二是資訊提煉與專業輔助。主要運用大模型的摘要、規劃等能力,針對特定行業、場景的數據,輔助人進行專業知識的提煉、分析和加工,典型像各類智慧助手。

三是任務排程與智慧互動。行業對大模型的需求,更多還體現對其代理能力(Agent)的期待,希望大模型能與其他套用,甚至與現實世界的機器和裝置等連通,在更廣泛的範圍協助進行任務排程和問題解決。

如何衡量行業大模型是否成功?

衡量行業大模型套用成功與否,是業界越來越關心的核心問題、也是普遍挑戰。許多行業機構幾乎不知道從何入手,更不用說有充分的套用經驗來衡量成功,然而如果缺乏衡量的標準和辦法,又很難充分投入技術創新和套用,容易陷入決策困境。

基於本次研究對多方的實踐調研,結合國際前沿的相關探索,我們嘗試總結構建出當前衡量行業大模型套用成功的2-3-1原則:避免片面追求技術效能或短期收益的2個誤區,應評估降本提效、業務創新和體驗增強上的3類價值,並重點構建1個高品質數據飛輪的模式。

其中誤區最容易陷入,導致大模型套用難成功。一是誤將技術指標當作證明大模型成功的標準。在大模型技術快速叠代的形勢下,大家容易將註意力集中在技術效能上,透過呈現指標數值的增長來反映大模型的成功,包括精度、召回率和提升率等,但這些指標遠遠不夠。最大的問題是,技術指標的高低無法直接反映出大模型價值的大小,例如召回率從50%提升到60%,算不算成功其實很難評判。更重要的應該是關註業務指標,例如使用者數、使用量、收入等,這些指標能直觀反映價值,作為評判成功的標準更具說服力。可將技術指標和業務指標建立聯系,用業務發展來牽引技術開發和最佳化,也更容易論證技術效能提升所帶來的價值。二是過度看重投資收益中的短期產出部份而忽視長期投入。傳統行業容易將大模型與成熟業務類似,要求明確的投入產出,甚至短期內實作正向盈利,這並不利於大模型套用的發展。大模型還在快速叠代,有大量的不確定性,比如技術突變、泡沫等,短期財務上很難有較好的表現,長期也很難評估準確。更合理的方式是將大模型作為研發或孵化計畫,不強求短期的財務指標絕對值達成,轉而關註業務、技術等指標的相對提升,采取廣泛的組合投資策略長期持續投入才可能真正見效。

行業大模型有哪些實作方式?

主要有四種技術實作方式,從易到難分別是:提示工程、檢索增強生成、精調和預訓練。實際套用中這些方式通常是組合使用,以實作最佳效果,例如騰訊金融大模型,就是在混元通用大模型基礎上,在預訓練階段重點加入300B token以上的金融領域語料進行二次增訓,使模型對金融知識體系有完整的吸收與理解,之後再透過幾十萬條高品質的金融指令數據進行了精調和人類反饋強化學習,大幅提升金融專業內容生成的效率並保障品質。

提示工程適用於剛接觸大模型的企業新手,采用這種方式能以最小資源投入、快速探索套用。當然局限性也很明顯,若大模型本身內含的行業數據較少,效果就會比較差。

檢索增強生成適用於處理企業自有數據,透過大模型外掛知識庫,更準確檢索並生成知識庫範圍內的內容。這種方式模型本身不會調整,算力等投入就不會太大,已經成為部署行業大模型套用的主流選擇,局限在於對知識庫外的專業問題反饋效果有限。

精調適用於解決行業特定任務,通常是基於特定數據集局部調整模型參數,提高任務處理的效果和效率。精調是對大模型客製最佳化和成本投入的折中選擇,算力和數據等投入明顯增加,但比預訓練還是低很多。

預訓練適用於行業專業性較高、數據型別和任務與主流通用大模型差異較大的情況,例如生物/醫藥研發。這種方式投入最大,不僅需要收集大量數據,還需要對模型進行全參數訓練調整,甚至從頭搭建一個模型。

行業大模型

如何實作負責任的部署和套用?

行業大模型的安全及治理,不僅面臨通用大模型的共性問題,如可解釋性、網路安全、價值對齊等,也會面臨特定行業的特殊監管要求,如醫療、金融等強監管行業記憶體在的強制性標準等。需要以行業協同等為原則,透過AI沙盒等監管和治理創新,疏通行業大模型在數據獲取、算力供給、套用拓展等方面的堵點和難點,盡量給予充分的創新、試錯空間,避免超前治理、多方疊加治理等影響創新套用及時落地。

已有多個國家和地區積極試點AI監管沙盒,如歐盟在其人工智慧法案中引入該機制、新加坡特別推出了面向中小企業的GenAI沙盒等。整體上,AI開發者可以向監管部門申請開展沙盒測試,與主管部門商定沙盒計劃,包括可以在沙盒中受監督的現實世界條件下進行測試和套用。而監管部門將對AI企業提供指導、監管預期、監督和指導,以辨識、控制潛在風險,支持AI監管沙盒的有效運作。這一機制尤其對AI領域的中小微企業和初創企業較為有利,可以顯著降低合規成本。

行業大模型

未來的發展方向是什麽?

在「人工智慧+」等重要政策指引下,行業大模型有望加速在傳統行業的落地套用,在雲智一體的基礎設施支持下,向多模態、人工智慧體、端側及小型化等方向發展,更深入嵌入各行業的工作流程中,從而促進生產力的提升。

人工智慧體(AI Agent)的發展,對行業大模型的意義可能最大。一些與工作流程深度耦合的AI Agent開始湧現,有望逐步發展成為各行各業不可或缺的新型生產力。辦公領域,Microsoft 365 Copilot及其個人版Copilot Pro的推出,揭示了提高工作效率和辦公自動化方面的巨大潛力;社交領域,Meta AI等產品將進一步推動內容創作和社互動動的智慧化,為使用者帶來更加豐富多樣的體驗;工業領域,Levatas等工業視覺檢查機器人的套用,顯示了在辨識、判斷和維修裝置方面的高度自主性;行銷領域,SalesGPT等平台的出現,展示了AI Agent在感知情緒、個人化推廣和客戶服務中的潛力……

隨著AI套用的深入,模型的規模、型別和復雜性將不斷增加,MaaS將日益成為行業使用者雲上用智的主流方式。使用者或直接呼叫雲的大模型API,或借助全生命周期的大模型訓練工具,生成適用於自身場景的大模型,並托管在雲上,為終端使用者提供高品質智慧服務。為此,面向AI的、更高效能的算力底座必然不可或缺,透過計算、儲存、通訊、訓練等各層面的最佳化,全面提升模型訓練、開發和套用效率。

關註「騰訊研究院」公眾號