IT之家4月30日消息,小米大模型团队通过“XiaomiMiMo”公众号宣布,今天,小米开源首个“为推理而生”的大模型XiaomiMiMo,联动预训练到后训练,全面提升推理能力。据介绍,MiMo是来自全新成立不久的“小米大模型Core团队”的初步尝试。
在数学推理(AIME24-25)和代码竞赛(LiveCodeBenchv5)公开测评集上,MiMo仅用7B的参数规模,超越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview。

官方表示,MiMo推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动,包括:
预训练:核心是让模型见过更多推理模式
数据:着重挖掘富推理语料,并合成约200Btokens推理数据。
训练:进行了三阶段训练,逐步提升训练难度,总训练25Ttokens。

后训练:核心是高效稳定的强化学习算法和框架
算法:提出TestDifficultyDrivenReward来缓解困难算法问题中的奖励稀疏问题,并引入EasyDataRe-Sampling策略,以稳定RL训练。
框架:设计了SeamlessRollout系统,使得RL训练加速2.29倍,验证加速1.96倍。

IT之家附开源地址:
HuggingFace:https://huggingface.co/XiaomiMiMo

特立独行的猫
你看海洋生物[捂脸哭]饱和攻击
p囧尼q
遥遥领先就是最无耻最流氓的企业
lu小小的笑笑
懂的都懂易车测的还是太保守了,实际车主测的比易车猛多了,不知道真实的小米车主敢不敢测同样车速[doge][doge]
甜小糖"
对,小冥尸骨现在都散发着烧烤味
fvin25
冥界坟头草不知道多高了[捂脸哭]
Flo经期助手App
小冥现在车上还有烧烤下的骨灰没找到
米球球
三折叠汽车吹牛逼遥遥领先
灯!等灯等灯
只有你们分敌友,他只是一个爱讲实话的老实人啊
宋宋宋宋宋小满
味道太正了[点赞]本来也就是忽悠米粉买单,都是友商在黑[哭哭]
来福
深圳新闻网——某为深度合作供应商[点赞]
原心无意
你不懂不要紧,你去看看小米股票和金山云股票,有人肯定懂
山岚
中保研测的不信[doge]别人测的不管是谁测的,只要差劲他们就信
打倒小怪兽
原来不懂,为什么企业和这些官媒体也有战略合作,原来是合作这个
singlebed
提问:雷军喜欢的食物?mimo:香蕉chatgpt:无数据参考ds:无数据参考mimo:✅
yisibugua
律师函得看你米,毕竟专利局比我懂,他们太痛了
孔刘的二硕
这个也没一声不吭啊,我23年就刷到正在做了
老人与海
关键小米也没说通用能力很强啊![捂脸哭]
我是好人
还是小米赢,资料画面与图文无关,深圳新闻网放su7侧面印证了小米的智驾能力[鼓掌]掌声
Q3074617696
可不敢靠近,一不小心就变成烧烤了
onhunly
怎么不说话了?也变成烧烤了
物理萌物
踩还踩不过,但粉丝信了就行[呲牙笑]