小米开源“XiaomiMiMo”大模型:以7B参数超越OpenAIo1-mini

IT之家 2025-04-30 09:54:43

IT之家4月30日消息,小米大模型团队通过“XiaomiMiMo”公众号宣布,今天,小米开源首个“为推理而生”的大模型XiaomiMiMo,联动预训练到后训练,全面提升推理能力。据介绍,MiMo是来自全新成立不久的“小米大模型Core团队”的初步尝试。

在数学推理(AIME24-25)和代码竞赛(LiveCodeBenchv5)公开测评集上,MiMo仅用7B的参数规模,超越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview。

官方表示,MiMo推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动,包括:

预训练:核心是让模型见过更多推理模式

数据:着重挖掘富推理语料,并合成约200Btokens推理数据。

训练:进行了三阶段训练,逐步提升训练难度,总训练25Ttokens。

后训练:核心是高效稳定的强化学习算法和框架

算法:提出TestDifficultyDrivenReward来缓解困难算法问题中的奖励稀疏问题,并引入EasyDataRe-Sampling策略,以稳定RL训练。

框架:设计了SeamlessRollout系统,使得RL训练加速2.29倍,验证加速1.96倍。

IT之家附开源地址:

HuggingFace:https://huggingface.co/XiaomiMiMo

7 阅读:989

评论列表

特立独行的猫

特立独行的猫

3
2025-04-30 15:58

你看海洋生物[捂脸哭]饱和攻击

p囧尼q

p囧尼q

3
2025-04-30 16:53

遥遥领先就是最无耻最流氓的企业

lu小小的笑笑

lu小小的笑笑

3
2025-04-30 21:01

懂的都懂易车测的还是太保守了,实际车主测的比易车猛多了,不知道真实的小米车主敢不敢测同样车速[doge][doge]

甜小糖"

甜小糖"

2
2025-04-30 16:34

对,小冥尸骨现在都散发着烧烤味

fvin25

fvin25

2
2025-04-30 21:45

冥界坟头草不知道多高了[捂脸哭]

Flo经期助手App

Flo经期助手App

2
2025-04-30 22:12

小冥现在车上还有烧烤下的骨灰没找到

米球球

米球球

2
2025-04-30 22:23

三折叠汽车吹牛逼遥遥领先

灯!等灯等灯

灯!等灯等灯

2
2025-04-30 17:57

只有你们分敌友,他只是一个爱讲实话的老实人啊

宋宋宋宋宋小满

宋宋宋宋宋小满

2
2025-04-30 19:25

味道太正了[点赞]本来也就是忽悠米粉买单,都是友商在黑[哭哭]

来福

来福

2
2025-04-30 21:37

深圳新闻网——某为深度合作供应商[点赞]

原心无意

原心无意

1
2025-04-30 15:54

你不懂不要紧,你去看看小米股票和金山云股票,有人肯定懂

山岚

山岚

1
2025-04-30 17:14

中保研测的不信[doge]别人测的不管是谁测的,只要差劲他们就信

打倒小怪兽

打倒小怪兽

1
2025-04-30 18:59

原来不懂,为什么企业和这些官媒体也有战略合作,原来是合作这个

singlebed

singlebed

1
2025-04-30 22:35

提问:雷军喜欢的食物?mimo:香蕉chatgpt:无数据参考ds:无数据参考mimo:✅

yisibugua

yisibugua

1
2025-04-30 15:21

律师函得看你米,毕竟专利局比我懂,他们太痛了

孔刘的二硕

孔刘的二硕

1
2025-04-30 14:01

这个也没一声不吭啊,我23年就刷到正在做了

老人与海

老人与海

1
2025-04-30 18:32

关键小米也没说通用能力很强啊![捂脸哭]

我是好人

我是好人

1
2025-04-30 21:53

还是小米赢,资料画面与图文无关,深圳新闻网放su7侧面印证了小米的智驾能力[鼓掌]掌声

Q3074617696

Q3074617696

1
2025-04-30 18:06

可不敢靠近,一不小心就变成烧烤了

onhunly

onhunly

1
2025-04-30 22:48

怎么不说话了?也变成烧烤了

物理萌物

物理萌物

2025-04-30 11:07

踩还踩不过,但粉丝信了就行[呲牙笑]