grok 1

xai官网: https://x.ai/

xai github: https://github.com/xai-org/

grok 1发布时间

2024年3月19日凌晨，马斯克旗下的大型模型公司xAl宣布正式开源拥有3140亿参数的混合专家（MOE）模型「Grok-1」，并公开了该模型的权重和网络架构。

这一举动使得Grok-1成为当前参数量最大的开源大型语言模型。

grok 1怎么样?

关于Grok-1的模型细节包括：

– 基础模型是基于大量文本数据进行训练的，没有针对任何具体任务进行微调；
– 3140亿参数的MOE模型，在给定token上的激活权重为25%；
– 于2023年10月，xAl使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。

xAl遵守Apache 2.0许可证来开源Grok-1的权重和架构。Apache 2.0许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。项目发布仅四个小时，就已经获得了3.4k个星标，热度还在持续增加。

该存储库包含用于加载和运行Grok-1开放权重模型的JAX示例代码。在使用之前，用户需要确保已下载检查点，并将ckpt-0目录放置在检查点中，然后运行以下代码进行测试：

“`
pip install -r requirements.txt
python run.py
“`

项目说明明确强调，由于Grok-1是一个规模较大（314B参数）的模型，因此需要拥有足够GPU内存的机器才能使用示例代码测试模型。此外，该存储库中MOE层的实现效率并不高，选择该实现是为了避免需要自定义内核来验证模型的正确性。

可能需要一台拥有628GB GPU内存的机器（每个参数2字节）来运行模型。