Zyphra发布AMD生态首个扩散语言模型，最高提速7.7倍
· ME 快讯
AIMPACT 消息，5 月 15 日（UTC+8），据 动察 Beating 监测，Zyphra 发布由自回归大语言模型转化而来的混合专家（MoE）扩散模型 ZAYA1-8B-Diffusion-Preview。虽然官方在宣传中自称是「首个」实现该架构转化的模型，但这一路线在去年底已被 SDAR 和 LLaDA 2.0 等团队率先跑通。ZAYA1 真正的唯一性标签在于，它是首个在 AMD 硬件生态内完成训练的扩散语言模型。 剥离营销话术，该模型依然验证了扩散架构的工程提效价值。传统自回归模型受限于逐字串行生成，积累 KV Cache 会让生成速度触及物理极限。正如近期何恺明团队纯扩散模型 ELF 揭示的行业趋势，并行去噪是打破这一瓶颈的关键。ZAYA1 沿用 TiDAR 方案跳过了从头预训练，在单次前向传播中可同时对 16 个 token 候选进行去噪，彻底将显存带宽瓶颈转化为算力瓶颈。 实测显示，结合 ZAYA1 专属的 CCA 注意力机制，使用标准无损采样器能在不降低生成质量的前提下达到 4.6 倍的接收加速比。切换至混合 logit 采样器后加速比更是跃升至 7.7 倍，为高耗时的大规模推理任务提供了实质性的降本空间。 （来源：BlockBeats）