Grok-1
2024-04-05 13:23:31
314B parameters Mixture-of-Experts (MoE)
3140亿参数、混合专家模型
A machine with enough GPU memory is required
可能需要一台具有628GB GPU内存的机器（每个参数2字节）
所以可能需要8块H100（每个80GB）
Under the Apache 2.0 license
商用友好
表情
Ctrl + Enter
314B parameters Mixture-of-Experts (MoE)
3140亿参数、混合专家模型
A machine with enough GPU memory is required
可能需要一台具有628GB GPU内存的机器（每个参数2字节）
所以可能需要8块H100（每个80GB）
Under the Apache 2.0 license
商用友好