騰訊副總裁蔣傑：騰訊混元率先采用MoE結構升級 效能提升超50%

在4月26日—28日舉行的第十七屆中國電子資訊年會上，騰訊公司副總裁蔣傑表示，騰訊專註於自主可控的大模型技術發展路線，聚焦基礎研究，正在利用自身積累和實力構建底層算力網路，開發訓練框架，不斷叠代技術，積極落地新套用，推動人工智慧+及新質生產力發展。

騰訊公司副總裁蔣傑

騰訊混元是騰訊基於全鏈路自主可控技術打造的生成式大模型，自2023年9月首次亮相以來，透過持續叠代和實踐，積累了從底層算力到機器學習平台再到上層套用的完整自主技術。目前，騰訊混元大模型參數量已達到萬億，tokens數量超過7萬億。國際權威調研機構沙利文釋出的【2024年中國大模型能力評測】顯示，騰訊混元在通用基礎能力和專業套用能力已居國內第一梯隊。

演算法層面，騰訊混元大模型率先采用混合專家模型 (MoE) 結構，並在這個過程積累大量自研技術，其中包括創新的專家路由Routing演算法、獨創的MoE Scaling Law機制以及合成數據技術，實作模型總體效能相比上一代Dense模型提升50%。

訓練和推理框架上，騰訊自研Angel機器學習平台面向大模型訓練，在預訓練、模型精調、強化學習多個階段進行最佳化，相比業界開源框架，可以用更少的資源訓練更大的模型，訓練速度是主流框架的2.6倍；面向大模型推理，Angel機器學習平台實作成本相比業界主流框架下降70%，支持國產主流硬體的適配。

算力層面，騰訊擁有自研星脈高效能計算網路，使用領先的3層網路架構，可支持單集群12.8萬卡規模，具備業界最高的3.2T通訊頻寬，可提升40%的GPU利用率，節省30%—60%的模型訓練成本，為AI大模型帶來10倍通訊效能提升。此外，星脈網路中的交換機、光模組、網卡均是騰訊全鏈路自研。