上周，马斯克宣布 xAI 将开源 Grok。
刚刚，马斯克终于兑现诺言，xAI 宣布开源了 Grok-1 的模型权重和网络架构。
Grok-1 是一个拥有 3140亿 参数的专家混合模型 ，由xAI从头开始训练，模型实际只有 25% 的参数被激活，也就是实际激活的参数数量只有 86B。
xAI 官方博客中 提到Grok-1模型由8个专家组成，64层Transformer，每层包括多头注意力块和密集块。模型的上下文长度为 8192token，采用bf16计算精度，权重使用 8bit 量化。
Grok-1 模型是在大量文本数据上训练，训练完成和模型权重保存截止到 2023年10月，未针对任何特定任务进行微调。
此外，还包含了模型的技术细节：
• 使用了旋转位置嵌入（Rotary Embeddings），提高了模型的位置编码能力。
• 拥有131,072的词汇量，词嵌入维度为6,144，64个Transformer层。
• 上下文长度达到8,192 token，采用bf16计算精度，对权重使用8位量化，用于优化模型的运行效率和资源消耗。
代码和模型权重已上线GitHub，目前github上已有6.9k标星。
Grok-1采用的是Apache 2.0 license，意味着，可商用。
有趣的是，ChatGPT的账号竟和马斯克互掐起来了，不知道ChatGPT背后是人还是机器人。
此前马斯克向法院对OpenAI提起诉讼，控告Sam违背公司创立初衷，不开源GPT。
如今马斯克以身作则，率先开源自家大模型Grok, 撇开赌气成分不谈，但马斯克的公众形象始终是站在造福人类大众一方，而本次Grok的开源，是给大模型开源社区带来一些鲶鱼效应，期待可以给社区带来惊喜。
参考资料 [1] https://x.ai/blog/grok-os
