AI 隐形存储账单：推理过程留下了什么
· ME 快讯
ME AI 消息，让大多数高管设想 AI 成本时，他们可能首先想到的是 GPU——配备数吉瓦电力的加速器机架——以及芯片供不应求的排队名单。但这种想象遗漏了一项内容：数据存储成本。
模型作出响应后，数据会发生什么？每天生成的数十亿条提示词、图像和视频等大量后端数据，都需要存储。但数据存储是较难规划的基础设施成本之一，在最初的 AI 基础设施规划中也常常被忽视。
随着推理规模扩大，数据足迹也随之增长
过去，围绕 AI 基础设施的讨论主要集中在训练模型这一计算密集型过程上。训练是有限的：一次训练任务启动、消耗计算资源，然后结束。但每当模型响应提示词时，推理都会持续运行。对于基础设施规划而言，这一差异十分重要：训练任务是可以进行预算、随后结束的项目；推理不会结束，每一次推理请求都会留下数据。
以 AI 生成视频为例。在这类工作负载中，后端支出可能相当可观。根据 WD 的内部测量结果，一段 8 秒的视频（以 3.97MB 的 720p 文件形式返回给用户）会在后端留下超过 500MB 的相关数据，包括日志、缓存上下文、即时渲染结果、备份和安全记录。这是用户看到的输出文件大小的 130 倍。对于生成更长、更高分辨率视频的企业而言，规模扩大后，每个视频产生的后端数据足迹可能达到数百 GB。
而且，这一后端数据足迹正在快速增长。McKinsey 预计，到 2030 年，AI 推理需求的复合年增长率（CAGR）将达到 35%，高于训练需求的 22%；到本十年末，推理将占数据中心总需求的 40% 以上。
一份由 WD 赞助、近期发布的 IDC 全球白皮书调查了 763 名 IT 和业务决策者。调查发现，近 95% 的受访者表示，过去 12 个月中，生成式 AI 导致数据量增加；约 61% 的受访者表示数据量增幅达到或超过 25%。
“你可以把增加存储理解为让 GPU 保持忙碌的一种优化方式。”报告引用一位超大规模云服务提供商的高级产品经理称，“最大的挑战是确保 GPU 不会闲置，不会因为等待数据到位而空转——GPU 闲置数小时会非常快地变得极其昂贵。”换算成美元来看：如果存储支出每年增长 25%，而计算预算以更可预测的周期性方式增长，那么存储最终会超过那条最受关注的预算线。
让存储匹配 AI 数据生命周期
计算需求会随着训练周期、产品发布和硬件更新而起伏。但当计算需求放缓时，保留数据的数量并不会随之下降。模型日志、合成输出、推理结果等数据会持续累积，组织也会将更多数据保留更长时间。
这改变了保留数据的角色。过去会被移入归档、很少被调取的信息，如今可能成为未来 AI 工作负载的输入。随着保留、检索和重复使用的数据越来越多，存储不仅需要支持不断增长的容量，还必须支持对这些数据日益动态的访问。同一份 WD-IDC 调查显示，96% 的受访者预计需要更快的归档检索能力，以支持推理或检索增强生成（RAG）。
AI 工作负载同时需要性能和容量，而数据生命周期的不同阶段需要由不同技术满足相应需求。对于必须保留并反复访问的大量数据而言，HDD 能够提供高性价比的大容量基础，并在每 TB 成本方面具备显著优势。
这对 AI 预算编制意味着什么
对 CFO 或 CIO 而言，这意味着“AI 基础设施支出”的范围可能过于狭窄，过度聚焦于计算。如果模型在加载数据时闲置，其成本与因缺少 GPU 而闲置时大致相当。但存储瓶颈往往会一直隐藏，直到问题已经出现；它通常表现为运营成本上升和检索延迟，而不是像加速器那样直接出现在资本支出（CapEx）项目中。
设想一家零售商为商品目录生成 AI 产品视频，或者一家保险公司通过 RAG 流程处理理赔文件，以加快承保。在这两种情况下，计算成本都是已知且纳入预算的项目：财务部门可以根据每次生成或每次查询的费率进行预测。存储成本则不同：每生成一个视频、每处理一份理赔文件，成本都会累积，因为任务完成后，这些后端数据并不会消失。
如果一个团队将 AI 预算设定为“计算成本，加上一笔可忽略不计的存储费用”，那么 12 至 18 个月后，他们可能会发现，这笔所谓的“可忽略费用”已经成为整个项目总成本的重要组成部分——而此时管理层通常正准备决定是否扩大项目规模。
构建具备经济可扩展性的容量
应对这一挑战要从架构入手。存储策略往往围绕昂贵的热层性能进行设计，以满足即时、持续的数据访问需求；但从数据量来看，大多数 AI 数据会积累在其后的温、冷和深冷存储层中。
企业需要的是具备经济可扩展性的容量：面向完整 AI 数据生命周期设计的基础设施，在数据持续存在、不断累积且越来越多地被重复使用的情况下，平衡性能、容量、电力、可靠性和总体拥有成本。这意味着，应将过去长期闲置的归档数据视为 RAG 和推理的活跃资产，并根据数据不断增长的战略价值，而不是最初的存储成本，制定数据保留政策。这也意味着要认识到，存储决策影响的是整个存储设备集群，而非单个硬盘。
这类基础设施需要采用分层存储。在容量扩展的过程中，各层独立的功耗、可靠性、存储密度和运营效率，共同决定系统能否保持经济可持续性。
关于组织的 AI 基础设施预算，可以提出三个问题：
我们针对 AI 生成内容的数据保留政策是什么？由谁制定？
我们的存储采购是根据训练期间的性能需求，还是根据所生成数据的实际生命周期来制定的？
如果明年我们的 AI 使用量翻倍，存储成本会随之翻倍，还是增长得更快？
大多数组织都无法有把握地回答这三个问题。这正是应在下一轮预算周期之前弥补的差距，而不是等问题出现后再行动。
本文内容由 WD 制作，并非 MIT Technology Review 编辑团队撰写。（来源：MLion）