小明 發自 凹非寺量子位 | 公眾號 QbitAI
GPU租用市場越來越玄幻了，價格被打下來的原因，居然可以是天命人閑置的4090被迴圈利用了（doge）？
最近，一種新型的GPU租賃方式開始興起。
它能讓手上有閑置計算卡的人，把資源租給需要的人。
舉個例子，為了打黑神話買了4090的天命人，可以把卡租給煉丹俠們。自己能掛機「躺著」賺錢，煉丹俠還能以更劃算的價格租算力（4090只需每小時1塊錢那種）。
距離大範圍算力荒才過去僅僅1年，算力租賃市場已經是一番新氣象了。
不僅如此，老牌租賃平台們也紛紛主動降價。海外，p00價格被卷到每小時2美元。
國內情況亦是如此，A100（80GB）租用價低至6.68元/小時，40GB為3.28元/時，A800則是5.98元/小時。
按理說，現在正是AI算力需求旺盛的時刻。大型雲廠商打價格戰為了跑馬圈地還可理解，算力租賃平台價格沒有水漲船高，反而開始降價……
這背後，到底發生了啥啊？
「白菜價」搞定高端算力
先一句話總結，相較於ChatGPT元年，AI算力告急問題總體得到緩解，但是依舊面臨挑戰。
如上變化由算力供需側共同影響而來。
首先在算力供給上，大模型趨勢進一步推動AI底層硬件以及基礎設施發展。
國際方面，輝達這兩年不僅擴大了AI計算產品線，更在產能上大幅提升，以滿足暴增的市場需求。
Hopper架構和Blackwell架構均包含Transformer引擎，分別推出了2款產品供市場選擇，且不同架構之間的代際升級非常明顯。B200的晶體管數量已達到2080億，分別是p00的2.6倍、A100的3.8倍，後兩者則釋出於大模型浪潮之前。
兩個B200 GPU與Grace CPU結合就成為GB200超級芯片。在標準1750億參數GPT-3基準測試中，GB200的效能是p00的7倍，提供的訓練算力是p00的4倍。
眼下首批工程版B200已經送到OpenAI投入使用。據天風國際分析師郭明錤透露，輝達Blackwell GB200四季度的出貨量將在15萬塊至20萬塊，明年第一季度出貨量將顯著增長200%-250%，達到50-55萬塊。
這同時帶動了全行業的產品叠代升級節奏，AMD、英特爾等為保持競爭力，近兩年也紛紛推出更先進AI計算產品。
更具規模的變化體現在算力基建方面。據中國資訊通訊研究院測算，截至2023年底，全球算力基礎設施總規模達到910EFLOPS，同比增長40%。
美國、中國算力基礎設施規模位列前兩名，算力全球占比分別為32%、26%。
另一方面，算力需求也在近一年內發生變化。
隨著開源模型效能達到GPT-4水平（如405BLlama 3、DeepSeek-v2等），以及中小模型（7B-70B規模）套用更加成熟，中小企業/開發者陸續入場，以及近期趨勢推理Scaling law成為新方向。黃仁勛預測，隨著推理鏈的出現，推理的規模預計將迎來千萬乃至十億倍的增長。
種種原因都導致市場的微調推理需求大幅增加，訓練需求的增長趨勢開始放緩。
相較於訓練，推理階段對硬件的要求沒有那麽高。在實際場景中，往往是用最先進器材進行訓練，上一代產品進行推理。
因此可以看到，大型廠商依舊追捧p00、B200等高端GPU，但是中小企業/開發者不再趨之若鶩，轉而關註更具性價比的選擇。
但問題是，算力供需不平衡問題依舊棘手。
宏觀上，【人工智能算力高質素發展評估體系報告】中表示，中國算力市場還面臨供給不足、算力智能水平較低、能源考驗、供應鏈完備性不足等問題。
微觀上，以學術圈為例，「算力荒」還是普遍現象。
今年5月，李飛飛在采訪中透露，史丹佛NLP實驗室只有64塊A100。相比於產業界，這個數碼不值一提，但在高校圈裏已經是相當富有了。
更普遍的現象是，許多高校實驗室都只有消費級顯卡，大家還需要排隊使用。實驗經費有限導致租賃算力也將面臨更多制約。
在這些矛盾下，算力市場開始更加主動、自發提出新型應對措施。
最明顯的跡象莫過於——經典算力平台主動降價+新興算力租用模式浮現。
能薅羊毛更能掛機賺錢
今年算力市場最熱門的話題莫過於「價格戰」，這並不局限於賣大模型服務的雲廠商，提供算力租賃的各大平台也是主角。
不同類別的平台降價方式也有所差距。
目前算力租賃平台主要有兩種類別：
算力雲平台
C2C算力租用平台
前者好比京東，其所有的GPU伺服器是自營資源，通常在提供算力的同時也保障一系列配套服務，能讓使用者更低門檻、更便利呼叫算力。該模式下，定價權在營運方自己手裏，今年以來多家平台都在主動降價。
後者好比淘寶，為機主和使用者提供平台，供雙方進行服務交易。這種模式較為新興，可以讓有閑置計算資源的機主將GPU出租，「掛機賺錢」。它天生就能提供更具性價比的租賃價格。
不過需要註意，對於算力租賃，價格低只是考量因素之一，使用者同時關註平台提供的服務能力。
對於前者，使用者更關心平台提供的算力是否足夠劃算、使用是否足夠友好；對於後者，機主和使用者則更在意平台是否靠譜。
更具體的模式分析，來看行業典型案例。
經典算力雲平台中，論誰打價格戰最兇猛，AutoDL必是其一。
有資歷的煉丹俠們對這個平台應該都不陌生。就是它當年把3090的租用價格從4.5元/小時打到了1.32元/小時，在使用者這兒是有口皆碑了。
它在2021年上線，專註於提供彈性、好用、省錢的GPU算力服務。
GPU總規模在國內同類別平台中位列前茅，提供豐富的GPU選擇，包括A100、A800、V100、4090、3090等。
它的主要目標使用者包含了高校科研人群以及企業使用者，所以在極具性價比的同時也主要入門友好。
平台支持各種深度學習框架，如TensorFlow和PyTorch，並提供相應的CUDA環境，使用者可根據需求選擇合適的映像。
具體能力上，兼顧科研、企業需求。主要包括：
用卡彈性：提供容器例項和API彈性排程模式，支持千卡級別彈性排程；
團隊管理：支持實驗室、團隊等場景中對多個子賬號管理；
私有雲：支持本地機器免費接入，將AutoDL雲上高效管理與使用體驗移植本地；
CodeWithGPU社區：支持映像和模型分享，分享映像可獲取收益
付費方面更符合「羊毛黨」需求，主要提供按秒計費、包卡計費兩種模式。
按量計費模式下，例項開機開始計費，關機結束計費，時長可精確到秒，最低計費0.01元。關機所有數據會保留（15天），支持映像保存、檔儲存等。
包年包月為預留GPU模式，支持按日按周按月等租用，價格比按量計費更便宜，長期使用更劃算。
而且只要註冊，平台就送一個月煉丹會員，認證學生直接升級煉丹會員，認證期間內將一直有效。會員將享有價格優惠。
另一方面，大模型趨勢興起後，C2C（使用者對使用者）模式變得火熱。
矽谷的代表為San Francisco Compute，從寂寂無名到成為黑馬，它僅僅用了半年時間。還拿下了山姆·柯曼弟弟領投的1200萬美元種子輪融資，估值達到7000萬美元。
國內如今也出現類似趨勢，比如剛剛上線3個月的橘皮優，現已和AutoDL達成戰略合作。
按照自我定義，橘皮優是一個促進C2C雙邊AI算力交易的撮合平台。
它的核心目標是透過共享經濟的模式，降低使用者使用AI算力的成本，同時讓私有閑置算力被高效套用，推動了算力普惠和綠色低碳。
該平台支持的算力類別包括GPU、NPU、CPU、ASIC、ARM、RISC-V等，能夠滿足AI訓練、AI推理、影像生成以及渲染等任務需求。
相較於AutoDL，橘皮優提供的算力租賃服務價格更低，適用於對機器配置不敏感的人群。
同時它更加客製化，支持個人的外部映像、例項埠靈活。
也可以在該平台上成為機主對外出租賺外快，支持自助上機，不限制機器和數量。
由於和AutoDL達成戰略合作，背後團隊是算力行業老兵，在魚龍混雜的算力市場裏是更加靠譜的選擇。
或許也不用擔心沒人來租，畢竟AutoDL靠著性價比優勢，在短短3年時間裏形成龐大的使用者基礎。之前大家用卡都是靠搶的。
所以也不免有人好奇，這麽低的價格，它圖啥啊？
其實，AutoDL技術團隊本身就來自學術圈，從2017年開始就在做GPU相關服務。這樣的出身背景下，AutoDL團隊自然更懂AI行業痛點，並積累了豐富經驗。
由此也就不難理解AutoDL為何堅持提供量大管飽還劃算的算力資源。
隨著AI大模型套用落地趨勢繼續，對AI算力的需求還會繼續增加。
對於很多科研高校、中小企業而言，算力會成為研發和落地套用上的第一道門檻。
如今，隨著算力租賃市場發展更加完善，模式更加多樣化，使用算力也變得像去食堂打飯一樣——量大管飽還實在。
對於行業而言，這能更大程度緩解算力供需不平衡問題，同時也讓資源實作更高效綠色流轉。
當然，最主要的還是各位煉丹師們可以薅到羊毛，因為玩黑神話入手4090的天命人們也能找到回本的渠道（doge）。
最後，附上文中兩個平台的官網，感興趣同學可進一步了解！
AutoDL官網：https://www.autodl.com
橘皮優官網：https://gpu.pro
