文 | 智能相對論
作者 | 沈浪
知名科學雜誌【Nature】發表了一篇關於大模型規模參數大小爭議的文章【In Al, is bigger always better?】——AI大模型，越大越好嗎？隨著大模型套用走向實踐，這一問題不可避免地成為了當前AI行業發展的焦點與爭議。
有人認為，大模型當然是越大越好，參數越大，效能越優。也有人認為，小模型更好，消耗更小，更能精準地解決專業問題。兩相對比之下，各有各的道理，懸而未決，究竟什麽才是AI大模型發展的出路？
這一問題或許在日前商湯科技舉辦的技術交流日活動上有所解答。在活動現場，商湯科技釋出了行業首個「雲、端、邊」全棧大模型產品矩陣，以滿足不同規模場景的套用需求，對大模型的場景套用提出了新的思路，並且全新升級了「日日新SenseNova 5.0」大模型體系，綜合能力全面對標GPT-4 Turbo。
當然，在當前節點上，領先的意義已經不僅僅是超越GPT-4，更是探索出能解決實際套用問題的有效路徑。
01、離譜or靠譜？日日新端側大模型「暴打」GPT-4
在技術交流日活動的現場，商湯科技以一個很有趣的畫面闡釋了大模型與小模型之間的差別。基於拳皇遊戲的畫面演示，商湯科技將自家的SenseChat-Lite 版本日日新端側⼤模型與GPT-4進行PK。
一開始，GPT-4還能略占上風，但是SenseChat-Lite出拳速度更快，隨後各種連招打到他根本反應不過來，只得被商湯科技的模型「暴打」，直接K.O出局。
這一結局似乎太離譜了？商湯科技對此做了解釋：實際上其中的差距並非模型能力強弱問題，而是在不同的適用場景之下小模型決策速度快。當大模型還在計算的時候，小模型已經完成了判斷並且出拳了，而且實實在在打到了對手身上。
正所謂，「天下武功，唯快不破」！對比大模型，小模型在具體的場景套用中有著更明顯的決策優勢。
因此，業內正在形成一個全面的共識：在實際套用中，大模型並非越大越好，而是得看具體場景需求。前不久，美國AI公司Anthropic釋出Claude 3系列模型，一度超越GPT-4，登頂全球最強大模型。其中Claude 3系列就給出了不同量級的模型產品，包括Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus，以便適用於不同的企業和場景。
同樣的，基於這一思路，商湯科技也在搭建完善的基模型體系與小模型系統方案，並釋出了一系列的垂類大模型和端側大模型。其中，SenseChat-Lite版本端側大模型就可以面向手機、平板、VR 眼鏡、智能汽車等提供輕量、高效的大模型能力，結合端雲解決方案，及時適應變化的環境和需求，保持高效能和準確性。
對比來說，中國更註重實踐。商湯科技在這個思路上給出的解決方案更具有主動性和服務意識以及更有實踐價值。具體的，商湯端側大模型不僅是參數量級小，還講究端側部署與端側處理能力的強化，在解決實際問題上響應更快速。
與此同時，商湯科技還面向金融、程式碼、醫療、政務等多個領域推出了邊緣產品「商湯企業級大模型一體機」，在實際場景套用中更能滿足專業化需求，主動貼合客戶需求。比如，「大醫」醫療健康大模型一體機就可以在醫療機構內部一鍵部署大模型套用，實作「開箱即用」，並有效針對智能問診、導診、病歷結構化、影像報告解讀等場景，支持智能調整回復內容的語言風格、詳略程度、格式要求等。
當然，這也是目前商湯科技在AI大模型領域領先行業的關鍵點。同樣的思路，以小模型為套用焦點，商湯比別人多走了幾步，提出了軟硬兼顧的解決方案。
02、在尺度定律之下，沒有永恒的「最強」，唯有「日日新」
從經濟性而言，小模型更利於企業套用與解決實際問題。那麽，是否對於AI行業而言，就不需要訓練大模型了？
實則不然。
在技術交流日活動現場，商湯科技提到了一個同為業內共識的理論：尺度定律。在普遍的認知中，以尺度定律為參考，隨著模型的參數變大、數據量變大、訓練時長加長，則演算法效能會越來越好。
OpenAl於2020年曾釋出一篇論文【Scaling Laws for Neural Language Models】，其中也有類似的觀點，即模型效能隨著模型參數大小的增長而變好。因此，在後續的大模型叠代中，OpenAI透過構建一個巨大的海量數據集，再簡單增加GPT模型的深度，就做出了具有驚人的湧現能力的大模型產品。
對此，很多廠商也作了相關驗證，包括谷歌、商湯科技等。其中，谷歌曾精調了三個尺寸的Minerva模型，分別使用了80億，620億和5400億個參數的預訓練PaLM模型。
結果發現，Minerva的效能隨著規模的擴大而提高。在整個MATH數據集上，最小模型的準確率為25%，中型模型達到43%，最大模型突破50%大關。
由此，基於尺度定律的認知，他們發現自家的模型產品在一定測試級上超越GPT-4的能力，並非不可能。如今，商湯科技釋出的最新的「日日新SenseNova 5.0」大模型體系，其效能就超越了GPT-4。
其中，日日新·商量大模型5.0主模型在語言、知識、推理、數學、程式碼等領域的能力，在主流客觀評測上就達到或超越了GPT-4 Turbo，在聊天、多輪對話、資訊提取、寫作等場景能和GPT-4 Turbo相媲美。
更值得一提的是，日日新·商量多模態大模型的圖文感知能力達到了全球領先水平，在多模態大模型權威綜合基準測試MMBench中綜合得分排名首位，並在多個知名多模態榜單MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU 取得領先成績。
換句話說，在尺度定律的認知下，GPT-4被超越是遲早的事情，AI大模型領域沒有永恒的「最強」。
當然，若要登頂最強，雖說可行，但絕不簡單。大模型的參數爭議，其中就有能耗的問題。谷歌曾坦言，PaLM的訓練在2個月內消耗了大約300個美國家庭一年的電力消耗，其中所需要的算力、數據等基礎設施絕非常規企業可以負擔。
在這一點上，商湯科技秉持「大模型+大算力」的「雙輪驅動」戰略布局又一次為其拓寬了道路。其中，SenseCore商湯大裝置作為商湯科技前瞻決策所打造的高效率、低成本、規模化的新一代AI基礎設施，可以支撐超過20個千億超大模型同時訓練，並支持萬億參數大模型的全生命周期生成，為大模型的打造提供了非常關鍵的支撐。
簡單來說，雖說有尺度定律作為理論支持，但是以SenseCore商湯大裝置為代表的大算力才是商湯科技能超越GPT-4的底氣。從這個角度來看，商湯科技做AI，比大多企業要更加純粹且徹底。
03、大模型的最優解，是場景平衡
從國內外的實驗與實踐來看，模型的大小之爭意義不大，離開基礎理論和場景套用去拋棄任何一方都不可取。因此，目前主流的AI廠商在叠代和釋出系列模型時，往往都會推出主模型與小模型以及垂類專業模型，根據場景需求按需提供服務。
這一點將在接下來的時間裏拉開專業AI服務商之間的差距。目前，日日新SenseNova5.0大模型體系采用了混合專家模式，這樣做的目的在於透過將模型分割成多個具有專門功能的模組，使得模型在推理過程中能更有效地利用計算資源，並可能提高模型的泛化能力和應對復雜任務的效能。
具體來看，商湯瓊宇釋出的3D高斯潑濺技術，就具備輕量化的web渲染能力，可以產生更輕量的模型資產，使城市級三維模型的構建和編輯重建效果更加真實，成本更低，也可以套用在更多場景。
這是混合專家模式思想在實際套用中的體現，透過不同技術和模型元件之間的配合，實作了對特定任務客製化處理和資源最佳化，從而加速大模型在不同場景中的套用，實作AI普惠。目前，瓊宇已服務客戶超過60個，實作了15個城市120多種場景的重建。
因此，當我們把目光投遞到實際中的場景問題，就會發現大模型和小模型均有用武之地，問題則在於如何去平衡地調配資源，實作最優解。由此來看，商湯科技對混合專家模式的套用，可以視為是一種領先行業的熟練決策。
未來不屬於大模型或小模型，而是大小模型之間的平衡。因此，「AI大模型是否越大越好」類似的問題不必糾結，但需要面對，即如何去打造大模型，又如何把大模型的能力調配出小模型服務好市場，會是各大廠商接下來的必修課程。
*本文圖片均來源於網絡
