摩尔线程“夸娥智算集群 KUAE” 1.2 版本发布：支持 64K 长文本、新增 LLaMA2 全系列大模型等

本站 8 月 19 日消息，摩尔线程“夸娥智算集群 kuae” 1.2 版本正式发布。该版本对软硬件层面的综合性进行优化，支持 64k 长文本、新增 llama2 全系列大模型、百川、雅意、qwen2、mixtral（moe 8x7b）等模型。

更新内容：

1. MFU 提升

   • 使用千卡集群训练千亿模型，MFU 提升 10%。
   • 稠密模型集群训练 MFU 最高达到 55%。

2. Flash Attention2 优化

   • 集成 MUSA SDK 平台优化后的 Flash Attention2 技术，提升大模型训练效率与资源利用率。

3. 64K 长文本支持

   • 增强对长文本大模型训练的支持，优化处理长文本理解和生成任务的能力。

4. 支持混合专家模型 MoE

   • All2All 优化，针对 muDNN 算子优化不同形状下的矩阵运算，支持 MoE 大模型训练。

5. 断点续训

   • 提升 Checkpoint 读写性能，提高训练效率。

6. 优化 DeepSpeed

   • 适配摩尔线程 GPU 集群的 DeepSpeed 与 Ulysses，强化长文本训练支持。
   • 适配国内外多款大模型。

7. 稳定性提升

   • 软硬件成熟，实现连续无故障训练 15 天。
   • 引入 KUAE Aegis 可靠性功能，加强监控、自动诊断与故障恢复能力。

8. 可视化 / 可观测

   • 引入 PerfSight 性能监控系统，实时显示训练过程中的资源消耗与性能数据。

9. 内置模型库新增大模型

   • 新增 LLaMA2 全系列、百川、雅意、Qwen2、Mixtral（MoE 8x7B）等模型。

以上就是摩尔线程“夸娥智算集群 KUAE” 1.2 版本发布：支持 64K 长文本、新增 LLaMA2 全系列大模型等的详细内容，更多请关注叮当号网其它相关文章！