2024年4月17日，MiniMax正式推出abab 6.5系列模型。万亿MoE模型abab 6.5，在各类核心能力测试中，abab 6.5开始接近GPT-4, Claude 3 Opus, Gemini 1.5 Pro等世界上最领先的大语言模型。

在MoE还没有成为行业共识时，MiniMax花了80%以上的精力下注MoE，并于今年1月，发布了国内首个基于MoE架构的 abab 6。在过去的三个月里，我们进一步地挖掘了MoE架构的潜力，研发出了更强大的abab 6.5。

这个过程中，我们找到了越来越多加速实现Scaling Laws的途径，包括改进模型架构，重构数据pipeline，训练算法及并行训练策略优化等。今天发布的abab 6.5和abab 6.5s是我们加速Scaling Laws过程的阶段性成果。

abab 6.5系列包含两个模型：abab 6.5和abab 6.5s。abab 6.5包含万亿参数，支持200k tokens的上下文长度；abab 6.5s跟abab 6.5使用了同样的训练技术和数据，但是更高效，支持200k tokens的上下文长度，可以1秒内处理近3万字的文本。

核心能力测试

我们用业界标准的开源测试集来测试两个模型，在知识、推理、数学、编程、指令遵从等维度上和行业领先的语言模型进行了对比。

标注星号的为我们调用API测试得到的结果，其余分数来自对应的技术报告

我们在200k token内进行了业界常用的“大海捞针”测试，即在很长的文本中放入一个和该文本无关的句子（针），然后通过自然语言提问模型，看模型是否准确将这个针回答出来。在891次测试中，abab 6.5均能正确回答。

abab 6.5和abab 6.5s会滚动更新到MiniMax旗下的产品中，包括生产力产品海螺AI和MiniMax开放平台上。欢迎大家使用。