IT之家8月19日消息，摩尔线程“夸娥智算集群KUAE”1.2版本正式发布。该版本对软硬件层面的综合性进行优化，支持64K长文本、新增LLaMA2全系列大模型、百川、雅意、Qwen2、Mixtral（MoE8x7B）等模型。

IT之家整理此次更新内容如下：

MFU提升10%，最高可达55%

新版本使用千卡集群训练千亿模型，MFU提升10%。

稠密模型集群训练MFU最高达到55%。

FlashAttention2优化

通过集成最新的MUSASDK平台与优化后的FlashAttention2技术，结合新版TorchMUSA和算子融合，提升了大模型训练的效率与资源利用率，缩短训练周期并降低了整体成本。

64K长文本支持

新版本增强了对长文本大模型训练的支持，优化处理长文本理解和生成任务的能力，能够更好地应对文档摘要、文章写作等复杂语言处理任务。

支持混合专家模型MoE

MCCL通信库完成All2All优化，针对muDNN算子在不同形状下的矩阵运算进行优化，以更好地支持MoE（MixtureofExperts）大模型的训练。

断点续训

进一步提升大模型训练的Checkpoint读写性能，写入时间小于2秒，提高训练效率。

优化DeepSpeed

实现了基于摩尔线程GPU集群的DeepSpeed与Ulysses的适配和性能优化，强化长文本训练支持。

适配国内外多款大模型，在HuggingFace上支持训练和微调主要开源大模型。

稳定性提升

千卡集群软硬件进一步成熟，实现连续无故障训练15天。

新版本引入了KUAEAegis可靠性功能，加强对GPU、显存、集合通信等方面的监控、自动诊断与故障恢复能力。

可视化/可观测

引入PerfSight性能监控系统，可实时显示模型训练过程中的资源消耗与性能分析数据。

内置模型库中新增大模型

KUAE内置模型库ModelZoo新增LLaMA2全系列大模型、百川、雅意、Qwen2、Mixtral（MoE8x7B）等模型。

IT之家此前报道，摩尔线程AI旗舰产品夸娥（KUAE）智算集群解决方案从当前的千卡级别扩展至万卡规模，具备万P级浮点运算能力。摩尔线程将开展三个万卡集群项目，分别为青海零碳产业园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目。