一种名为SonicMoE的软硬件协同设计方案,旨在通过GPU内核优化和新

蚁工厂 2025-12-19 09:57:03

一种名为 SonicMoE 的软硬件协同设计方案,旨在通过 GPU 内核优化和新型路由方法,解决 MoE 模型在高粒度(专家尺寸小)和高稀疏度(专家总数多)趋势下的训练效率难题 。代码:github.com/Dao-AILab/sonic-moe论文:arxiv.org/abs/2512.14080需要NVIDIA Hopper GPU科技先锋官

0 阅读:0
蚁工厂

蚁工厂

感谢大家的关注