作者 | 李冬梅
上周，月之暗面（Moonshot AI）公司宣布旗下對話式 AI 助理產品 Kimi 套用現已支持 200 萬字無失真上下文輸入。去年 10 月釋出時，Kimi 僅支持 20 萬字的無失真上下文輸入長度。而在此前，GPT-4Turbo-128k 公布的數位約 10 萬漢字，百川智慧釋出的 Baichuan2-192K 能夠處理約 35 萬個漢字。
因為在長上下文視窗技術上取得突破，月之暗面這款產品 Kimi 在業界和資本市場都引起了巨大的轟動，更催生了與之相關的「Kimi 概念股」：近來因 Kimi 概念被市場高度關註的九安醫療，3 月 20 日—22 日，股票交易異常波動，收盤價格漲幅偏離值累計超 20%。
Kimi 之所以能夠在短時間內獲得如此高的關註度，與其卓越的長文本讀取和解析能力密不可分。
長文本技術，即模型處理和理解超長文本內容的能力，也就是讓大模型能夠更全面地理解和分析復雜的文字內容，提高大模型的整體效能和準確性。
在當今資訊爆炸的時代，處理大量的長文本數據成為了許多企業和個人使用者的迫切需求。而 Kimi 正是滿足了這一需求，憑借其強大的長文本處理能力，贏得了市場的廣泛認可。不僅如此，Kimi 的使用者數量也在短時間內激增，巨大的流量湧入使得其伺服器一度承受了巨大的壓力，21 日下午，月之暗面旗下大模型套用 kimi 的 APP 和小程式均無法正常使用。
此前，月之暗面釋出情況說明：從 2024.3.209:30:00 開始，觀測到 Kimi 的系統流量持續異常增高，流量增加的趨勢遠超對資源的預期規劃。這導致了從 2024.3.2010:00:00 開始，有較多的 SaaS 客戶持續的體驗到 429:engineisoverloaded 的異常問題，並對此表示深表抱歉。
公開資料顯示，月之暗面成立於 2023 年 4 月，法定代表人楊植麟畢業於清華大學交叉資訊學院。截至目前，月之暗面公司已完成三筆融資，獲紅杉中國、真格基金等機構投資，最新一輪融資超 10 億美元，投資方包括阿裏、紅杉中國、小紅書、美團等，估值達 25 億美元（約合人民幣 180 億元），是國內最主要的大模型獨角獸之一。
然而，就在 Kimi 風頭正勁的時候，行業內的大廠們也坐不住了，紛紛宣稱他們在長文本處理能力上也有了新進展。阿裏巴巴的通義千問計畫開放了 1000 萬字的長文本處理能力，這一數位遠超 Kimi 目前能提供的 200 萬字長文本處理能力。
360 公司也不甘示弱，其 360 智腦開始內測 500 萬字的長文本處理功能，並計劃將其整合至 360AI 瀏覽器中。
百度作為國內互聯網巨頭之一，也宣布計劃在下月推出 200 萬至 500 萬字的長文本處理能力。那麽，大廠們都在卷的長文本處理能力為什麽如此重要？它能切實解決哪些問題？這項能力會成為未來大模型競爭的關鍵差異點嗎？
AI 前線采訪了某大模型研發公司一位技術專家 Jack，他是 Kimi 的第一批註冊使用者，使用的是月之暗面宣傳的 20k 上下文的模型。
據 Jack 表示，「Kimi 最大的優勢是對上下文的總結能力相當好，可以快速的幫助我們理解文章的重點，而其短板是，當我們需要快速定位文章的具體資訊時，它就無法滿足需求了，依舊是總結，而不是給出確切的資訊。」
「比如進行文章輔助閱讀時，Kimi 對文章的章節進行總結，能大概梳理文章的內容，但是要對定位具體文章內容時，它是無法定位的，還是依靠了大語言模型的總結能力，沒有更獨特的處理方式。」
某數據平台公司技術專家 Petter 表示自己也曾測試過 Kimi，當時他充值了 50 元錢測試了 Web 版本和 API，讓祝海林覺得有趣的是充值系統竟然是銀行轉賬。
Petter 稱：「Kimi Web 版本優勢是很慷慨，免費無限制使用，而且可以支持大文本的輸入，生成長度也還不錯，生成效果中規中矩。API 版本相比較而言，價格有一定優勢。」
「我主要測試的是編碼和轉譯類問題。編碼和轉譯其實都非常吃視窗，而且對生成長度也有要求，而 Kimi 的優勢正好是長視窗支持。效果我個人認為是中規中矩，但是應該是在國內第一梯隊。」
長文本能力，是贏下大模型之戰的「核彈級武器」嗎？
長文本處理其實應該叫視窗。如果把大模型比作一個作業系統，那麽長視窗實際上就是作業系統裏的記憶體，記憶體越大，套用開發會越簡單。
可以看出，在大模型技術不斷更新的如今，並不是 Kimi 一家在長文本處理能力上下足了功夫。
今年 2 月初，谷歌釋出了 Gemini 1.5Pro，這個模型最大的特點就是創下了最長上下文視窗的紀錄。
根據官方披露，Gemini1.5 Pro 將上下文視窗容量提到了 100 萬 token（極限為 1000 萬 token），遠遠超出了 Gemini 1.0 最初的 32000 個 token，此前的 SOTA 模型也才將上下文視窗容量提高到了 20 萬 token。
這意味著 Gemini1.5 Pro 可以自如地處理 22 小時的錄音、超過十倍的完整的 1440 頁的書（587,287 字）【戰爭與和平】，以及四萬多行程式碼、三小時的視訊。
憑借超長上下文理解能力，Gemini 1.5 Pro 得到了很多使用者的認可。很多測試過 Gemini 1.5 Pro 的人更是直言，這個模型被低估了。
當然，除了谷歌在卷「上下文長度」，國外其他大模型巨頭們也都在這項能力上不甘示弱。去年下半年，GPT-3.5 上下文輸入長度從 4 千增長至 1.6 萬 token，GPT-4 從 8 千增長至 3.2 萬 token；Anthropic 一次性將上下文長度打到了 10 萬 token；LongLLaMA 將上下文的長度擴充套件到 25.6 萬 token，甚至更多。
大廠都在卷的這個能力，會成為未來大模型差異化競爭的關鍵點嗎？
Petter 表示：「大模型終究需要套用落地，而套用落地很重要的一點就是長視窗支持，否則就是無窮無盡的 RAG tricks，耗費套用層工程師大量的精力，效果還要打折扣。未來長視窗將會是大模型的標配，但也會有天花板。目前來看，誰先在這一方面做得好，誰就能優先獲得套用生態優勢」。
就此問題 AI 前線還采訪了某資料庫廠商的技術專家 Lucky，他從數據角度分析了長文本能力在大模型競爭中的重要性。
Lucky 表示，「大模型的長文本能力可以視為贏得這場大模型技術之戰的‘核彈級武器’之一。」
在技術層面，長文本能力的實作依賴於模型的參數量和記憶體容量。一個模型如果能夠支持更長的上下文，就意味著它能夠處理更復雜的資訊，擁有更大的「記憶體」來學習和記憶，從而在套用效果上更加深入和廣泛。比如，處理法律合約、分析市場趨勢、梳理小說情節等，這些都需要模型具有處理長文本的能力。
從實際套用的角度看，長文本技術的突破使得大模型能夠應對更多樣化的需求。誰先突破這項技術誰就能先吃到市場的紅利。例如月之暗面的 Kimi Chat 目前超越了市面上大多數僅支持數萬字文本量的大模型。這樣的技術進步使得律師、分析師等專業人士能夠更方便地使用 AI 套用處理工作中遇到的超長文本，極大提升了工作效率和準確性，也讓月之暗面收獲了比以往更多的關註。
對於長文本未來的發展趨勢，Petter 也坦言，就像現在記憶體從 64k 發展到了普通 PC 的 128G、伺服器的 1TB、總是會有個上限，這個上限在哪裏由硬體視訊記憶體、位置編碼、演算法多層等決定。
多家上市公司回應是否與 Kimi 合作
月之暗面初次亮相於大眾視野中就內建光環：這家公司的創始人楊植麟是 90 後，清華大學的高材生，創始團隊也備受矚目，一年內完成了三次融資……今年 2 月，該公司完成了一筆巨額融資，以超過 10 億美元的 B 輪融資，阿裏巴巴領投，礪思資本和小紅書跟投，投後估值達到了約 25 億美元。
Kimi 的火爆，引發相關概念股震動。截至 3 月 21 日收盤，華策影視 20cm 漲停，掌閱科技兩連板，中廣天擇漲停，海天瑞聲漲超 5%，中文線上、因賽集團、慈文傳媒都有不同程度漲幅。
與此同時，市場上也出現「這些企業是否和 Kimi 有合作」的疑問。近日，多家上市公司回應了相關問題。
中廣天擇在投資者互動平台上表示，公司與萬興科技的合作主要是為其音視訊模型訓練提供優質的版權數據，這表明中廣天擇在與萬興科技的合作中可能涉及到月之暗面的技術支持。
海天瑞聲稱過往未曾與月之暗面產生過業務合作；易點天下表示公司已接入 Kimi Chat；衛寧健康表示自研醫療大模型 WiNGPT 目前未用到 Kimi 相關技術；中廣天擇也發公告表示目前公司和 Kimi 沒有合作。
在回答投資者關於「公司作為自動駕駛車載中控系統供應商，是否考慮在駕駛輔助系統裏面接入 Kimi 語言大模型、科大訊飛的星火大模型？」的問題時，華安鑫創表示，公司重視技術創新，相關內容處於內部討論階段，暫未接入。
月之暗面方面在接受媒體采訪時表示，月之暗面的開放平台是面向所有開發者和企業使用者開放的，任何合規的開發者和企業，都可以將 Kimi 智慧助手背後的同款大模型 API 接入到自己的產品或服務中。
值得註意的是，3 月 20 日，行業大模型解決方案提供商迴圈智慧宣布，與通用大模型公司月之暗面達成戰略合作。據了解，迴圈智慧將基於月之暗面的通用大模型，為業界提供針對各種業務場景的行業大模型解決方案及套用。
特別說明：此文章中的提到的技術專家 Jack、Petter 和 Lucky 均為化名。
原文連結：90後清華學霸帶隊、成立不足一年估值破百億元，「狂卷」長文本的月之暗面Kimi 正被大廠「圍剿」_生成式 AI_李冬梅_InfoQ精選文章
