NVIDIA Megatron Core 新增 Muon 等优化器支持

AIMPACT 消息,5 月 5 日(UTC+8),NVIDIA AI 宣布其 Megatron Core 框架现已提供对 Muon 等新兴高阶优化器以及 MOP、REKLS 等研究优化器的端到端支持,旨在提升大规模模型训练效率。官方指出,高效训练如 Kimi K2、Qwen3 30B 规模的模型需要超越标准数据并行技巧。目前该消息未披露具体性能指标或实现细节。(来源:InFoQ)