摩尔线程“夸娥智算集群KUAE”1.2版本宣告

IT之家整理这次更新内容如下：

MFU 提升 10%，最高可达 55%

新版本利用千卡集群演习千亿模型，MFU 提升 10%。

稠密模型集群演习 MFU 最高达到 55%。

Flash Attention2 优化

通过集成最新的 MUSA SDK 平台与优化后的 Flash Attention2 技能，结合新版 Torch MUSA 和算子领悟，提升了大模型演习的效率与资源利用率，缩短演习周期并降落了整体本钱。

64K 长文本支持

新版本增强了对长文今年夜模型演习的支持，优化处理长文本理解和天生任务的能力，能够更好地应对文档择要、文章写作等繁芜措辞处理任务。

支持稠浊专家模型 MoE

MCCL 通信库完成 All2All 优化，针对 muDNN 算子在不同形状下的矩阵运算进行优化，以更好地支持 MoE（Mixture of Experts）大模型的演习。

断点续训

进一步提升大模型演习的 Checkpoint 读写性能，写入韶光小于 2 秒，提高演习效率。

优化 DeepSpeed

实现了基于摩尔线程 GPU 集群的 DeepSpeed 与 Ulysses 的适配和性能优化，强化长文本演习支持。

适配国内外多款大模型，在 Hugging Face 上支持演习和微调紧张开源大模型。

稳定性提升

千卡集群软硬件进一步成熟，实现连续无端障演习 15 天。

新版本引入了 KUAE Aegis 可靠性功能，加强对 GPU、显存、凑集通信等方面的监控、自动诊断与故障规复能力。

可视化 / 可不雅观测

引入 PerfSight 性能监控系统，可实时显示模型演习过程中的资源花费与性能剖析数据。

内置模型库中新增大模型

KUAE 内置模型库 Model Zoo 新增 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral（MoE 8x7B）等模型。

IT之家此前宣布，摩尔线程 AI 旗舰产品夸娥（KUAE）智算集群办理方案从当前的千卡级别扩展至万卡规模，具备万 P 级浮点运算能力。
摩尔线程将开展三个万卡集群项目，分别为青海零碳家当园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目。