百度开源2800亿参数文心5.5Flash Base，MoE架构、激活140亿，多项基准刷新同尺寸SOTA，支持最长百万Token上下文。
文章作者、来源：AIBase
11月5日，百度正式开源全新基座模型文心5.5Flash Base，在知识、推理、数学、代码、多语言和长上下文等多项基准测试中刷新同尺寸模型SOTA表现，超越DeepSeek-V4-Flash-Base、Hy3-preview-Base等同类模型。
该模型采用MoE架构，总参数量达2800亿，激活参数140亿，使用33.5万亿Token完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。
围绕效率主线，文心5.5Flash Base在系统层进行多项算法创新。注意力机制上引入Latent-Gated Sparse Attention，组合HCA与MLA压缩历史信息并细粒度访问历史位置，利用低秩门控注意力使门控投影权重参数减少75%，同时通过虚拟头注意力提升表达力。
专家路由上采用Multi-Router Latent MoE，以多独立路由器改善专家选择效用。在训练目标上引入ECHO，复用主干最后一层学习预测后续Token，免去额外MTP模块。大模型基建方面，优化分布式Muon优化器并推出FlashMask-4注意力算子，进一步提升大规模训练的通信与显存利用效率。
当前大模型竞争正向模型能力、训练效率与场景创新协同演进。文心5.5Flash Base的开源在降低专业模型开发门槛的同时，为开发者构建定制化专业模型提供了高效的技术底座。