當前位置: 華文世界 > 科技

面壁智慧釋出 Eurux-8x22B 開源大模型 主打推理能力

2024-05-04科技

【環球網科技綜合報道】5月4日訊息,近日,面壁智慧釋出開源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 與 Eurux-8x22B-KTO,主打推理能力。

據介紹,Eurux-8x22B 模型啟用參數 39B,支持 64k 上下文,是由 Mixtral-8x22B 模型對齊而來,在 UltraInteract 對齊數據集上訓練而成。

UltraInteract 是專門設計用於提升大模型推理能力的大規模、高品質的對齊數據集,包含了覆蓋數學、程式碼和邏輯推理問題的 12 個開源數據集的 86K 條指令和 220K 偏好對,共有五十萬條左右數據。

同時,作為開源模型,Eurux-8x22B 的釋出有望增強技術的透明度與可存取性,為全球開發者社群提供相關技術資源,便於進行高級AI技術的開發與測試。

成立於2022年的面壁智慧是一家人工智慧大模型技術創新與套用落地企業。2023年4月,面壁智慧完成由知乎領投的數千萬元天使輪融資,同為清華系的智譜 AI參與跟投。2024年2月,面壁智慧的開源端側模型MiniCPM面市,作為其「大模型+Agent(智慧體)」雙引擎戰略的關鍵一步。

2024年4月,面壁智慧完成新一輪數億元融資,由春華創投、華為哈伯領投,北京市人工智慧產業投資基金等跟投,知乎作為戰略股東持續跟投支持。本輪融資將用於人才引入,大模型底層算力與數據基礎構建,和大模型落地三個方向。光源資本擔任獨家財務顧問。