IT之家 3 月 31 日訊息，Databricks 近日在推出了一款通用大語言模型 DBRX，號稱是「目前最強開源 AI」，據稱在各種基準測試中都超越了「市面上所有的開源模型」。
IT之家從官方新聞稿中得知，DBRX 是一個基於 Transformer 的大語言模型，采用 MoE（Mixture of Experts）架構，具備 1320 億個參數，並在 12T Token 的源數據上進行預訓練。
研究人員對這款模型進行測試，相較於市場上已有的 LLaMA2-70B、Mixtral、Grok-1 等開源模型，DBRX 在語言理解（MMLU）、程式設計（HumanEval）及數學邏輯（GSM8K）等基準測試上的表現較為突出。官方同時提到，DBRX 在上述 3 項基準測試中也超越了 OpenAI 的 GPT-3.5。
Databricks AI 部份副總裁 Naveen Rao 向外媒 TechCrunch 透露，該公司花了兩個月及 1000 萬美元的成本來訓練 DBRX，雖然目前 DBRX 在整體成績方面發揮較好，不過目前該模型需要使用 4 塊輝達 p00 GPU 執行，因此還有待最佳化空間。
