字节跳动Seed团队研究发现，大语言模型处理超长文本时出现性能波动的技术原因主要源于分块KV缓存压缩技术带来的“相位敏感性”。该技术通过固定步幅将连续标记窗口压缩为更少的条目以降低内存消耗，但引入了Token相对于压缩窗口边界的“相位“概念。实验表明，模型在面对相同信息时，处于不同相位会导致检索难度发生剧烈变化，部分开源模型的长文本检索准确率落差最高可达40个百分点。这一发现揭示了传统平均基准测试的局限性，为未来模型架构优化和长上下文推理稳定性提升提供了重要理论依据。
文章作者、来源：AIBase
字节跳动旗下Seed团队在最新的研究论文中，揭示了大语言模型在处理超长文本时出现性能波动技术的原因。研究团队指出，这一现象主要源于分块KV缓存压缩技术所带来的"相位敏感性"。
关键机制引发检索偏差
该技术为了降低长上下文推理时的内存消耗，会通过固定步幅将连续标记窗口压缩为更少的条目。然而，这种压缩机制引入了一个全新的位置坐标，即Token相对于压缩窗口边界的"相位"。
实验表明，模型在面对完全相同的信息时，处于不同相位会导致检索难度发生剧烈变化。在部分大型开源模型中，这种相位差异造成的长文本检索准确率落差最高可达40个百分点。
周期性弱点亟待优化
这一发现揭示了传统平均基准测试的局限性，部分模型看似出色的平均高分下，可能隐藏着严重的周期性弱点。随着长文本大模型应用日益广泛，这一研究成果为未来的模型架构优化和长上下文推理稳定性提升提供了重要的理论依据。