文 | AI大模型工場，作者｜星奈，編輯｜方奇
業內有一句廣為流傳的諺語：「當大家都去挖金礦時，賣鏟子的最賺錢。」
在19世紀中葉的淘金熱中，挖金礦的死了一波又一波，反而哪些賣鏟子、賣牛仔褲的人賺得盆滿缽滿。正如賣鏟人在淘金熱中成為最大贏家，在當今AIGC時代，AI Infra也扮演著類似的角色。
在大模型這座金礦剛剛開始挖掘的當下，挖金子的AI還沒有盈利，賣鏟子的輝達卻賺翻了，市值一度沖破3萬億美元，超過蘋果成為僅次於微軟的全球第二大公司。
AI Infra是指在大模型生態系中，連結算力和套用的中間層基礎設施，包括硬件、軟件、工具鏈和最佳化方法等，是一個整體解決方案。
如果用雲端運算三層構架做類比，AI Infra與PaaS層級相似，為大模型套用開發提供一站式模型算力部署和開發工具平台。算力、演算法、數據可以看作IaaS層，各種開源和閉源模型則是SaaS在大模型時代的新演變，即MaaS。
大模型套用落地的行程在不斷加速，AI Infra的價值潛力被進一步釋放。中金數據預測，目前，AI Infra產業處於高速增長的發展早期，未來3-5年內各細分賽道空間或保持30%+的高速增長。
對AI Infra的看好也在資本層面有所反映。由袁進輝建立的主攻推理框架的初創公司矽基流動，近日完成天使輪+融資，融資金額近億元人民幣。半年時間內矽基流動已經經歷兩輪融資，今年1月剛剛完成5000萬元的天使輪融資。
與袁進輝創業方向相同，前阿裏副總裁賈揚清在去年成立Lepton AI，據公開訊息披露，現已完成天使輪融資由Fusion Fund基金、CRV風投兩家機構投資。
隨著大模型進入大規模套用落地時期，提供大模型訓練、部署和套用時所需的基礎設施成為關鍵一環，AI Infra成為大模型套用爆發背後「金塊賣鏟」的最佳生意。
AI Infra：大模型套用背後千億市場的「金塊賣鏟」生意
相比模型價值，卷AI套用成為行業共識。李彥宏堅信，基礎模型之上將誕生數以百萬計的套用， 它們對於現有業態的改造作用，比從0到1的顛覆作用更大。
如今AI套用的供給在不斷增加，IDC在年初時預測，2024年全球將湧現出超過5億個新套用，這相當於過去40年間出現的套用數總和。
從最近的市場變化我們也能感知一二。最近影片生成類模型產品紮堆出現，快手的可靈、字節跳動的即夢、商湯的Vimi集體亮相，此外還有AI搜尋產品、AI陪伴類產品等層出不窮。
大模型套用爆發趨勢已然確定，根據InfoQ研究中心數據，2030年AGI套用市場規模將達4543.6億元，模型套用層的巨大機會已經吸引了幾乎各行各業的參與。
而在大模型套用之下，AI Infra成為其爆發的隱藏推手。
從開發流程角度看，一款大模型套用的開發，離不開數據準備、模型訓練與調優、模型部署與套用以及後續的監控與維護。而AI Infra就是為AI套用開發者提供算力與工具需求。
如果把開發AI套用看成建房子，那麽AI Infra就是提供水泥鋼筋的施工隊。AI Infra施工隊的價值點在於它是一個整合平台，將下層的算力芯片層與上層的AI套用層打通，讓開發者實作一鍵呼叫，並且實作降低算力成本、提升開發效率並且保持模型優秀效能的效果。
讓套用更簡單，讓AI落地更便捷，是AI Infra的使命。 可以說，AI套用的市場有多大，AI Infra的機會就有多多。
大模型時代，AI Infra等對於模型訓練和推理加速至關重要。隨著大模型走入大規模套用落地時期，模型訓練和推理效率、效能、成本效益等方面的最佳化變得尤為重要。此時，AI Infra則在其中發揮了關鍵作用。
實際上，AI Infra的價值主要集中在推理層，相比訓練，推理的市場容量更大。
大模型訓練說到底是巨頭的遊戲，且無論是谷歌、微軟還是百度、阿裏他們都有自己完整的AI基礎層，只做AI Infra的廠商在這方面機會不大。
而推理則不同，幾乎所有的大模型公司、套用公司以及用大模型進行改造的各行業都需要推理，訓練是模型生產的階段性產物，而推理則在模型使用時是持續性的。
具體到數據處理量上，訓練一個大型模型所需處理的token數量雖然龐大，通常達到幾萬億到十萬億級別，但這僅是模型誕生前的準備階段。而進入推理階段後，模型的實際套用對數據處理的需求急劇上升，以OpenAI為例，其單日生成的token量就可達一萬億至幾萬億之巨，這意味著在極短的時間內，如一周內，所處理的數據量就可能遠超訓練階段所需。
根據市場研究公司MarketsandMarkets的數據，全球大模型訓練和推理市場規模預計將從2023年的125億美元增長到2028年的563億美元，AI Infra的「金塊賣鏟」生意潛力巨大。
大模型部署成本降低10000倍
「如何把大模型部署成本降低10000倍？部署成本=芯片+軟件+模型+雲「，袁進輝在2024稀土開發者大會上這樣談到。
AI Infra作為提供大模型訓練、部署和套用時所需的基礎設施， 快速、便宜和優質是最核心的三個問題， AI Infra要實作的就是在不犧牲模型效能的前提下盡可能降低模型部署成本。
成本、效率和效能 是大模型發展中的不可能三角，在AI Infra賽道的玩家如何實作？
如果說模型層和套用層已經成為紅海，那麽AI Infra還是一片藍海。
在國內專註AI Infra的公司並不多，矽基流動和無問芯穹是兩家重量級玩家。該賽道的國外企業包括輝達、亞馬遜以及賈揚清建立的Lepton AI等。
雖然，矽基流動與無問芯穹都聚焦AI Infra，但兩者在服務重點、技術實作還是有很大差異。
矽基流動創始人袁進輝是一個AI領域的連續創業者，2017年創辦一流科技，聚焦深度學習框架，打造出開源訓練框架OneFlow，服務於大模型的生產，2023年被光年之外收購。
去年8月，袁進輝帶領其核心團隊成員從光年之外獨立，成立矽基流動， 聚焦AI Infra，服務模型大模型套用，瞄準推理領域， 從頭搭建了一套獨立於柏克萊的 vLLM和輝達的TensorRT—LLM之外的推理框架—SiliconLLM。
除了獨創的推理框架外，矽基流動目前還上線了一站式大模型API雲服務平台SiliconCloud，支持Qwen2(7B)、GLM4(9B)、Yi1.5(9B)等開源模型免費使用，提供高效能文生圖/影片加速庫OneDif等產品。
SiliconCloud雲服務平台在SiliconLLM和OneDif的加持最佳化下，能夠讓開發者在不犧牲效能的前提下，更低成本和更高效率地進行模型套用開發。
據悉，矽基流動的新產品SiliconCloud公測上線一個月後，平台使用者日均呼叫數十億Token。
比矽基流動早成立3個月的無問芯穹，在AI Infra上， 著眼於軟硬一體的整體解決方案，聚焦從演算法到芯片、從芯片集群到模型、再從模型到套用的三階段「M×N」中間層產品。
今年3月無問芯穹首次公測Infini-AI大模型開發與服務雲平台，Infini-AI雲平台共由三部份構成，分別是異構雲管平台、一站式AI平台和大模型服務平台。
從目前來看，無問芯穹重點從多元異構算力入手，打破單一芯片品牌訓練資源瓶頸，提高算力供給水平，降低模型部署成本。
在7月WAIC大會上，無問芯穹針對多芯片異構生態豎井的難題 釋出了異構分布式混訓平台，以適應多模型與多芯片的格局。
目前國內市場上的芯片供應除了輝達和AMD外，還存在大量國產芯片，而這種多芯片之間造成異構生態豎井，無問芯穹的底層解法是，提供高效整合異構算力資源的好用算力平台，以及支持軟硬件聯合最佳化與加速的中介軟體，讓異構芯片真正轉化為大算力。實作了混訓算力利用率最高可達97.6%。
可以看到，無論是矽基流動還是無問芯穹，盡管他們的AI Infra路線不盡相同，但都有一個共同目標：降低大模型部署成本，助力大模型套用更快更好地落地。
除了以矽基流動和無問芯穹為代表的初創公司陣營，以阿裏、騰訊、百度為代表的雲端運算廠商也是目前AI Infra的主要玩家。
雲端運算廠商憑借其雄厚的資本及深耕多年的技術積累，在AI Infra層有著極強的優勢。
以阿裏雲為例，阿裏雲在AI Infra層提供了包括靈駿智算集群、HPN 7.0網絡架構、CPFS儲存系統、PAI人工智能平台、魔搭社區和百煉平台等一系列產品和服務，覆蓋了從基礎設施到模型開發、訓練、部署的全流程，已形成中國最完備的AI基礎設施產品及服務，包括IaaS層、PaaS層和MaaS層的服務。
可以看到，阿裏雲透過提供高效能、高穩定性的AI計算服務，支持大模型訓練和推理，以構建開放的AI套用生態。實際上，無論是阿裏雲還是其他雲端運算廠商，想要的不僅是「賣鏟子」，更重要的是用AI驅動現有業務，覆蓋條業務線，每一個場景。
雲端運算廠商「大而全」，初創公司「小而美」。 大廠們從算力、數據、網絡、儲存等到模型再到開發工具鏈，構建大模型生態。
而初創公司，雖然不具備大廠們的全產業鏈，卻也在AI Infra層發揮著重要作用，矽基流動盯住推理領域，獨創推理框架SiliconLLM；無問芯穹用異構算力築基AI Infra。他們沿著各自的路線在通往普惠性AGI之路上不斷探索。
鏟子難賣，金礦難挖
盡管在大模型套用爆發的當下，AI Infra層潛藏著巨大的生意。但是對於這些做AI Infra的公司來說，即使他們在自己的專業領域如此強大，在潮水的變化面前依然脆弱。
鏟子難賣，金礦難挖。
輝達CUDA生態已經發展了20年，在AI領域，最先進的模型和套用都首先在CUDA上跑起來。
每個硬件之間都有不同的介面，CUDA統一了不同介面之間的語言，讓使用者能夠用一套標準語言去使用不同硬件。在模型開發過程中，開發者勢必會趨同於在同一個語言體系中去完成自己的開發。而這實際上就構成了輝達CUDA生態厚度。
目前，CUDA生態在AI算力市場占據了90%以上的份額。不過隨著AI模型的標準化，模型之間結構差異變小，不再需要排程多種大小模型，輝達CUDA生態厚度在變薄。
即使如此，輝達在算力市場也是絕對王者。賈揚清預測，輝達在接下來的3~5年當中，還會是整個AI硬件提供商中絕對的領頭羊，市場發展占有率不會低於80%。
盡管矽基流動和無問芯穹等AI Infra層的廠商有區別輝達的優勢，但在絕對壟斷者面前，仍如蚍蜉撼樹。
對AI Infra層的賣鏟廠商來說，外有輝達守礦人，堵在門口賣門票與鏟子，好不容易找到一條進入金礦的小路，卻發現，裏面的挖礦人已經習慣「徒手」挖礦，不再接受新鏟子。
在國內，企業為軟件付費意願低，且大多習慣整合式服務。國內SaaS投資已經降到冰點，如果AI Infra層廠商單靠賣硬件或軟件難以實作商業化。
軟硬件捆綁式銷售成為這些廠家不約而同選擇的商業化模式。
在無問芯穹創始人夏立雪看來，無問芯穹本質上扮演了一個營運商的角色：營運算力資源並提供所需工具。「我們看到了能夠帶著硬件，帶著資源去售賣，而且客戶是認可我們的價值的。」
和夏立雪想法相同，袁進輝同樣認為，「當下繫結一個客戶必須付費的產品，如硬件或雲端運算資源，一起賣軟件，是能夠跑通的。」
另外還有一個重要的商業化趨勢——出海。 從市場空間看，有統計數碼表明，目前生成式 AI 和大模型的海外需求是國內需求的幾十到上百倍，全球化是AI Infra層廠商必須要做的事情。
做全球化還有一層重要原因，在海外，B端的軟件付費服務難度較低，接受程度高。
矽基流動已與多家海外AIGC頭部企業合作，成為公司第一批付費客戶，在近期獲得新一輪融資後，袁進輝表示，公司將會同步拓展海外市場。而賈揚清直接將公司建在海外，瞄準海外企業和國內想要拓展海外市場的企業。
商業模式標準化問題仍需AI Infra層廠商慢慢探索。
隨著AI模型的標準化以及套用場景的爆發式增長，低成本、高效能的一站式模型部署方案勢必占據重要生態席位。對於大模型公司來說，一站式的模型部署方案不僅能夠解決算力短缺和數據高效處理等問題，讓企業能夠專註於套用層面的落地難題；同時，透過集中式的資源管理和服務化，AI Infra可以幫助企業降低模型及套用開發成本。
不過，雖然AI Infra可以帶來成本效益，但其初期的投資和維護成本仍然較高，對於初創公司來說仍是一個不小的挑戰。
伴隨著AI套用的快速發展，AI Infra需要能夠快速適應新的變化和需求，增強基礎設施的可延伸性和靈活性，而未來誰能夠為多樣化的套用場景提供個人化的大模型一站式部署方案或許就能夠在這場競爭中勝出。
關於AI Infra的未來，夏立雪這樣形容：「開啟水龍頭前，我們不需要知道水是從哪條河裏來的。同理，未來我們用各種AI套用時，也不會知道它呼叫了哪些基座模型，用到了哪種加速卡的算力—— 這就是最好的AI Native 基礎設施。」
