紅色KEN是商湯日日新端側模型操縱，綠色KEN是GPT-4操縱。對戰開始綠色KEN略占上風，但紅色KEN出拳速度更快，各種連招打到綠色KEN反應不過來，最終取勝。這個對比表達的並不是模型能力強弱，而是體現了不同使用場景下端側模型決策速度更快，它不需要雲端大模型的漫長等待，直接在裝置上給出答案，速度飛起
「天下武功，唯快不破」
當數十億個端側裝置都在不停地呼叫雲端大模型，估計沒有任何一個伺服器受得了。因此，能夠提供即時推理決策的端側能力是AI大模型進一步提高套用滲透率的關鍵。
來看看我們的主角： 商湯「日日新 5.0 端側大模型」
它有多優秀？
效能實作同等尺度效能最優，跨級尺度全面領先。
BenchMark成績顯示，「日日新 5.0 端側大模型」SenseChat-Lite 1.8B
全面領先所有開源2B同級別模型
，甚至在大部份測試中
跨級擊敗了Llama2-7B、13B模型
。
同時，在實際套用中，為進一步提高各類終端任務處理靈活性，它還引入
端雲聯動的MoE框架
，可針對不同行業套用設定不同的雲端聯動配比，在效能、速度和成本間取得平衡，獲得最佳推理效果。
▎ AI大 模型 端側套用 ，不僅拼效能，還 拼「手速 」
下面，我們一起看看商湯端側大模型的實際表現。
首先，是純端側大模型推理速度。
目前商湯「日日新 5.0 端側大模型」語言模型能力的 推理速度達到了業內最快 ，對比人眼20字/秒的閱讀速度，可在中端效能手機上達到18.3字/秒的推理速度。
在高端旗艦手機上，推理速度更是達到 78.3字/秒 ！
例如，手機斷網模式下生成一個「理由充分、安排詳實」的員工休假申請，效果是這樣：
現場原速
離線飛航模式下，打工人也能迅速總結工作紀要，生成速度緊跟人眼閱讀節奏。
現場原速
此外，多模態圖文能力也是端側模型在行業鋪開的關鍵。
以擴圖功能為例，商湯「日日新 5.0 端側大模型」擴散模型可實作當前 業內最快推理速度 。
在高通旗艦平台上 推理速度小於1.5秒 ， 比手機雲端處理快10倍 ，且支持輸出1200萬像素以上的高畫質圖片，支持等比擴圖、自由擴圖、旋轉擴圖多種影像編輯功能。
可以看到，在「商湯技術交流日」現場即時演示中，商湯端側大模型完成3種不同方案的擴圖速度比競品手機內建App擴1張圖的速度還快：
旋轉擴圖效果同樣出色，端側幾乎是即時的：
現場畫面2X速
活動現場直接拍照，即時自由擴圖，「自信」瞬間拉滿：
▎
「日日新 5.0 端側大模型」已
開放SDK服務
可以看到，商湯端側大模型在語言處理和多模態互動方面展現了強大的套用潛力。
它能夠勝任端側AI場景中多種任務，包括日常對話、常識問答、文案生成、相簿管理和圖片創作等，可滿足各類使用者日益普遍的AI套用需求。
目前，商湯端側大模型 已開放SDK服務 ，全面覆蓋智慧型手機、平板電腦、VR眼鏡、車載系統等多樣化的裝置場景，為開發者和制造商提供豐富的套用適配空間。
最後，讓我們聽聽商湯的合作夥伴如何評價商湯日日新大模型：
在個人出行場景，近期火爆市場的小米汽車SU7，小米小愛同學為車主提供智慧化互動體驗，當中也有集合套用了商湯的大模型技術能力，有基於商湯端雲大模型解決方案；
小米集團小愛總經理王剛表示
：「商湯的雲邊端全棧組合，可以很好地賦能和適配小米物聯網生態。我們希望與商湯共同為我們的使用者打造更具智慧化的產品體驗。」
「商湯技術交流日」現場，小米集團小愛總經理 王剛（左），商湯科技聯合創始人、首席科學家 王曉剛（右），共同探討AI大模型在智慧終端的套用趨勢和
使用者反饋
▎ One More Thing：端側智慧體is coming
著眼未來，端側大模型還將走向更高階套用—— 端側智慧體 。
有啥效果？
透過語音直接給手機下任務，智慧體就會自動呼叫手機中各種套用完成任務：
