DeepSeek 为什么把缓存涨了 11 倍?长上下文需求暴涨,得交点「存储税」了

AI生成的摘要:2025年8月17日,DeepSeek V4 Pro API缓存命中价格上调,空闲时段涨幅达5倍,高峰期涨幅高达11倍。长期以来,DeepSeek依靠KV压缩技术和冷热记忆分层架构,将长文本缓存成本控制在极低水平,成为其核心性价比优势。然而,随着长上下文需求爆发式增长,开发者将海量代码库、Agent日志等注入上下文,导致高峰期服务器出现严重“缓存颠簸”,数据在显存与磁盘间频繁搬运,GPU算力空转。DeepSeek此次涨价本质上是对“存储税“的转嫁,大模型成本结构正在从”算力稀缺“转向”状态存储和数据搬运昂贵“。

文章作者、来源:雷峰网

一直以来,DeepSeek都是白菜价的代名词,这次它开始涨价了,而且还按时间段收钱。

8月17日,DeepSeek V4 Pro API的输入和输出价格涨幅如下图。其中,最便宜的缓存命中价格在空闲时段直接涨了5倍,在高峰时期,它竟然涨了11倍,从0.025元/百万Token涨至0.3元/百万Token。

DeepSeek 为什么把缓存涨了 11 倍?长上下文需求暴涨,得交点「存储税」了

很多人或许并不了解“缓存命中”是什么。简单理解,它就像大模型的“草稿纸”,AI每次回答问题时,不必每次都去重新翻阅所有信息。只要它之前计算过一次,这段长文本就会以“KV单元“的形式沉淀在存储集群里,后续调用直接提取即可。

一直以来,极高的缓存命中率是DeepSeek最出圈的“性价比杀器”,它依靠极致的KV压缩技术和冷热记忆分层搬运架构,直接省掉了这部分海量的重复计算,把长文本的调用门槛控制到可以忽略不计。

正因如此,无数市面上的代码助手、知识库Agent、长文档分析这样有着超长上下文的产品,通过薅DeepSeek的羊毛撑起了自己的盈利模型。而过大的需求量也直接把低廉的缓存命中变成了厂商不堪重负的刚性开销。

大模型的成本结构,正在发生历史性的变化:“算力(FLOPs)“正变得日益廉价,而“状态“的保存、带宽和数据搬运,正在成为AGI时代最昂贵的成本。

DeepSeek 为什么把缓存涨了 11 倍?长上下文需求暴涨,得交点「存储税」了

01

 

缓存命中到底帮GPU省掉了什么?

在没有缓存命中之前,很多人是用不起长上下文大模型的。

我们可以算笔账,假设你要用DeepSeek V4 Pro搭建一个代码库智能Agent,核心代码有50万Token,开发者一天问50轮。

在没有缓存的情况下,每一轮对话AI都要把这50万Token从头到尾完整计算一遍,50轮下来累计输入就是2500万Token,仅输入成本就超过75元。长此以往,光是调用模型就能吃掉产品的大部分利润。

但有了90%的缓存命中率,只有第一轮需要全额支付预计算成本,后续49轮里90%的上下文可以直接复用已计算好的状态,输入成本直降90%以上,几乎可以忽略不计。

这种夸张的省钱效率,背后靠的是DeepSeek的KV压缩技术先把长上下文压缩,再靠冷热记忆分层搬运架构把存储成本打下来。

具体而言,大模型每读一个字都会产生庞大的记忆矩阵(KV Cache)。上下文越长,记忆矩阵占用的内存也更多,也会更贵。DeepSeek V4用了两种注意力架构交错配置,一个是压缩稀疏注意力技术(CSA),另一个是重度压缩注意力技术(HCA)。能把相邻的4个甚至128个Token合成一个记忆块,直接把长文本的记忆体积直接缩小95%以上。这样超长的上下文变成了轻薄的压缩包。

由于压缩包足够小,服务器内部可以轻松搬动。DeepSeek又按照访问频率,把这些压缩后的记忆做了冷热分层存放。频繁被调用的“热记忆“留在昂贵但响应极快的GPU显存里,长期无人访问的”冷记忆“则被放到便宜、容量近乎无限的企业级NVMe固态硬盘中。这进一步节省了开支。

不过,缓存命中虽然省钱,不代表它免费。它帮GPU省掉的是重复计算的算力的钱,但这又会在存储、搬运、调度三个环节中产生新的开销。

存储成本指的是海量KV状态要分层存储在GPU显存、CPU内存和NVMe磁盘中;调度成本指的是每次请求要快速定位到对应缓存块、调度资源;IO搬运成本指的是找到缓存后要从磁盘搬到内存、再加载到显存中。

这些成本之所以长期被开发者忽略,是因为它们一直很低廉。

DeepSeek V4的CSA+HCA混合压缩技术,能把100万Token的KV记忆状态压缩到约10GB。在一块常用的均价为6000元的15.36TB企业级NVMe硬盘计算,单份百万Token缓存的硬件分摊成本仅几分钱。

而单次磁盘到显存的搬运成本,算完电费与损耗,大约在几分钱量级。

这正是DeepSeek的缓存命中敢定价这么低的原因。

DeepSeek 为什么把缓存涨了 11 倍?长上下文需求暴涨,得交点「存储税」了

02

 

高峰期太堵,得交“存储税”

DeepSeek开始涨价,就是因为之前定价太便宜,太多开发者没有了成本顾虑,把整个代码库,Agent多轮反思日志、全量行业文档……一股脑全往上下文里塞,这直接导致DeepSeek的后端服务器在高峰期陷入了严重的“缓存颠簸”。

当高峰期,海量百万Token级的请求同时涌进来,GPU显存(HBM)会在极短时间内被占满。为了给新请求腾地方,调度系统只能把长时间没人访问的缓存块,从显存里“踢“出去,转存到速度更慢但容量更大的NVMe磁盘上。

长上下文的缓存本身体积就不小,一次“腾挪“就要搬运上百兆甚至上GB的数据;而高峰期新请求源源不断,这种驱逐和加载的操作频率会指数级上涨。

vLLM社区在适配V4的压测里,就记录过一个很典型的现象,在极端并发下,两个长上下文请求前后脚进来,就像早高峰涌入地铁的乘客,为了抢占一个临时的滑动窗口,会互相把对方原本占据了座位的公共前缀缓存挤出显存。用户隔一分钟发第二条消息,本该复用的缓存早就被踢去了磁盘,直接触发缓存失效,只能从头重新计算。

当数据在显存和磁盘之间频繁搬运,缓存不仅没起到加速省钱的作用,反而消耗了巨量的IO资源和调度算力,昂贵的GPU集群从计算推理的”脑力劳动者“变成了搬运数据的“体力劳动者”,算力在I/O堵塞中空转,严重的时候甚至会让整个集群的有效处理能力直接崩盘。

DeepSeek涨的价格就是这个“存储税”。

或许会有人问,DeepSeek不是已经在压缩上做到行业极致了吗,整套混合架构下来,1M Token上下文的KV缓存体积相比DeepSeek-V3直接砍掉了90%,和传统的GQA架构相比只剩约2%。

但问题是,被压缩的空间再小,也挡不住长上下文需求的指数级爆发,GPU芯片总数、HBM容量、总线带宽,都是有物理上限的。当存储、IO、调度这三类成本,大到一定程度的时候,DeepSeek必须涨价。

同样的难题,OpenAI和Anthropic也躲不开。

为此,Anthropic用显式缓存断点机制,让开发者手动标记缓存位置,同时,首次写入缓存收取1.25倍或2倍的溢价,用高昂的首次写入成本,倒逼开发者自觉去优化架构,只缓存高频复用的前缀,减小后端的缓存压力。

而OpenAI赚得多,它的基础输入价格远高于DeepSeek,可以配置更充裕的HBM显存加大缓存空间,以此降低后端的缓存压力。

只有DeepSeek因为真便宜,不得不涨价了。

DeepSeek 为什么把缓存涨了 11 倍?长上下文需求暴涨,得交点「存储税」了

03

 

开发者要省钱,得提高缓存命中率

有不少人看到DeepSeek涨价,可能会心里犯嘀咕,但DeepSeek即便涨价,依然是全球性价比最高的选择之一,成本只有Claude几分之一,甚至更低。

而且轻易换厂商并不划算。大多数公司已在DeepSeek的KV Cache层形成了稳定且高命中的缓存池,一旦切换到别家,成本代价也不低。

与其折腾换厂商,不如先吃透DeepSeek的缓存规则,把命中率拉到极致,把涨价多出来的成本再省回去。

DeepSeek缓存的核心逻辑很简单,要前缀完全匹配,如果差一个字符都触发不了命中。很多开发者平时不注意细节,很容易踩坑,平白让几十万Token的缓存直接作废。

比如把当前时间、用户ID、随机参数放在Prompt最开头,第一个字符变动,后面几十万Token的缓存直接全部作废。

或者在前端组件拼接时多了一个空格,换行符格式变了,在系统的字节匹配眼里,这就是完全不同的文本,缓存直接失效。

还有很多Agent框架会把工具返回的结果插到上下文中间,这一插就打断了后面所有历史内容的缓存边界,前面攒的长前缀缓存直接报废。

其实,DeepSeek的这波涨价,也在倒逼前端开发者的角色发生根本转变。

以前开发者调用大模型API很省心,写好Prompt发请求就行,后端显存怎么分配、缓存怎么调度都不用操心。但现在推理系统的底层,本质上已经变成了一个巨大的分布式存储系统,开发者必须要学会当“数据管理员”。

哪些是全公司共用的核心热数据,要写在Prompt最前面,保证稳定命中;哪些是低频的冷数据,可以按需再加;缓存的生命周期怎么管理,才能避免高峰期被系统轻易”踢“出显存。

我们已经步入大模型精耕细作的时代,缓存命中就是其中一道重要的分水岭。

DeepSeek 为什么把缓存涨了 11 倍?长上下文需求暴涨,得交点「存储税」了