GenRecs Tokenization：以稳定的模型词汇重塑 Meta 的广告推荐
· ME 快讯
ME AI 消息，
Generative Recommenders（GenRecs）代表了从为每条广告逐一评分，到同时理解广告内容与用户偏好并预测广告主最佳结果的一次范式转变。借助 LLM 内置的世界知识，广告匹配变得更加智能、精准，并持续为广告主带来叠加收益。
GenRecs Tokenization 是实现这一目标的基础数据表示方式。GenRecs Tokenization 不再为每个项目维护专属 ID，而是使用稳定语义词汇表中的一组 token 来表示每个项目。
结合 Meta’s Generative Ads Model（GEM） 和 Meta’s Adaptive Ranking Model 后，GenRecs Tokenization 使广告主在各个业务场景中的转化率提升了 0.35%。
GenRecs 改进了 Meta 广告推荐系统当前进行预测的方式。GenRecs 是 Generative Recommenders 的简称。它将推荐方式从为每个广告候选逐一评分，转变为利用 LLM 架构，同时深入推理广告内容和用户偏好。通过将预训练的世界知识与对广告实际含义的语义理解相结合，系统不再局限于匹配点击模式，而是进一步理解用户偏好的底层规律。即使面对过去没有任何产品、广告或公司互动记录的全新产品，模型也能为每位用户预测最相关的广告。
GenRecs Tokenization 是实现这一目标的基础数据表示方式。语言模型并不会为世界上的每个概念维护一个专属 ID，而是利用少量语义 token 组成的词汇表来表示任意概念。由于 token 描述了项目（例如广告、产品、服务等）的含义，模型可以将从未获得过互动数据的项目，与自己熟悉的项目建立联系。一款新推出的“越野跑鞋”可以继承模型已经学到的相关品类知识，而不必从零开始构建一个没有任何信号的新表示。
GenRecs Tokenization 为广告推荐引入了结构化词汇表，使 GenRecs 能够覆盖系统中的所有项目类型，并同时用于召回和排序，包括广告、产品、主页和像素。
Meta 先进的广告推荐系统通过学习各个项目及其表现，持续提升广告主的效果。LLM 可以通过在多种广告场景中利用语义 token 化，进一步提升推荐系统的性能：
加速从新实体中学习：语义 token 化帮助模型通过共享概念推断相关性并建立联系。新实体包括新创建的广告、细分产品，以及互动数据有限的主页。
实现跨广告系列迁移：语义 token 化构建了稳定的词汇表，使模型能够将广告主在不同广告系列中的洞察相互迁移。
发挥 LLM 扩展优势：语义 token 化能够让这些收益随着 LLM 扩展曲线上的性能提升而不断叠加。
融入世界知识：语义 token 化为预训练语言模型提供了直接理解广告内容和用户意图的接口。
项目迁移为语义 token 后，模型会像 LLM 一样从 token 模式中学习。在生产环境中，这带来了以下效果：
提升生产环境中的预测准确率：结合 Meta’s GEM 和 Adaptive Ranking Model 后，GenRecs Tokenization 使转化率提升了 0.35%1。
形成复合反馈回路：更准确的长尾预测能够从长尾广告中获得更有价值的经验，进而丰富训练数据，进一步提升模型对所有广告的预测能力，形成持续改善性能的反馈回路。
提供新的扩展方式：在生产环境的排序和召回中，token 可以沿着序列长度、训练数据和模型架构等维度改变扩展曲线。
1 Meta 内部数据，测量于 2026 年 2 月。
GenRecs Tokenization 介绍
预训练多模态模型会读取每条广告、每个产品和每个主页，包括其中的文本与图像，并将这些项目编码为携带世界知识的 embedding。tokenizer 将这些内容信号与从用户互动行为中学习到的表示相结合，再将结果量化为一段较短的离散 token 序列。相似的项目会共享 token，就像相关词语会共享词根一样。例如，上一季和本季的两条跑鞋广告之间会存在重叠，因此，新广告系列可以立即受益于模型此前从上一季产品中学到的全部知识。
GenRecs Tokenization 的核心是一个包含三个阶段的处理流程：
编码：将每个项目编码到语义 embedding 空间中。
分解：将该 embedding 分解到相互独立的子空间中。
量化：将每个子空间映射到 codebook 中的一个条目。
要最大限度提升广告推荐质量，需要根据实体和特征的语义，采用不同的阶段组合。例如，对于许多广告表示，GenRecs Tokenization 使用 prefix n-grams，将学习型 encoder、残差分解、学习型向量 codebook 和 token parametrization 结合起来。
Token 质量能够预测排序准确率
不考虑下游排序收益，tokenizer 模型质量可以通过以下内在指标进行评估：
聚类纯度：共享同一 code 的项目往往属于同一类别，从而让模型从每个 token 中获得更清晰的信号；
分布均衡性：项目均匀分布在不同语义 ID 中，而不是集中在少数几个 ID 上。
Codebook 利用率：至少包含一个项目的 code 占比更高，意味着词汇表能够表达更多差异。
在测试的 8 个 tokenizer 版本中，我们发现这些内在质量指标与下游排序预测准确率之间存在很强的相关性。在这些指标上表现更好的 tokenizer 版本，其广告模型 CTR 预测准确率也更高。
Token 化飞轮
Token 化能够挖掘海量产品目录中的深层语义模式，从而最大限度提升高流量广告系列的效率。对于获得较少曝光的长尾广告，token 化让广告推荐模型能够通过共享的内容结构进行泛化，恢复冷启动阶段的表现，并实现跨实体迁移。当一家运动服装品牌推出下一季的越野跑鞋时，即使新广告尚未被任何人看到，token 化也能让新产品及其广告建立在模型从上一季跑鞋中学到的知识之上。
通过提升长尾广告的预测质量，token 化不仅能让长尾广告获得更准确的排序，还能改善训练数据，进而提升所有广告的预测质量。这个自我强化的飞轮每运行一轮，模型预测质量都会得到提升。
LLM 推荐的基础
Tokenizer 的改进并不局限于其调优所针对的模型。通过多样性损失、死码重置和对比学习目标来优化 codebook 质量后，当生成式推荐模型使用生成的 token 进行训练时，下游性能能够得到可测量的提升。我们在 LLM-native retrieval 方面的工作展示了这种方法的潜力。基于共享 LLM encoder 构建的双塔架构，在仅使用一小部分训练数据的情况下，就达到了业界先进的召回质量，同时仍能保持高效服务，其表现可媲美经典双塔模型。在此基础上，我们目前正基于同一词汇表进一步拓展 reasoning-aware ranking。
GenRecs Tokenization 的未来
我们将沿着三个方向持续推动 GenRecs Tokenization，迈向 ROI 最优边界：
深化冷启动泛化能力：长尾广告库存是语义 token 发挥作用最显著、对广告主影响也最大的领域。我们正在扩大 token 化对所有项目的覆盖范围，为广告主带来更好的效果。
将 tokenizer 质量作为一等目标：与互动行为对齐的训练、统一的跨实体词汇表以及 codebook 改进，都是当前重点投入的方向。由于内在质量指标能够预测下游排序收益，我们无需等待完整的模型训练周期，就可以持续迭代 tokenizer。
高效服务 LLM-native 架构：完全 verbalized 的 token 化能够为模型提供对广告最丰富的视角，但所需的上下文窗口在广告规模下并不具备实用性。我们正在将压缩后的 verbalized token 与语义 ID 相结合，在保持可接受延迟的同时保留推理质量。
从更长远的角度看，我们正在探索：如今能够改善广告排序的同一套词汇表，是否可以统一不同业务场景中的表示方式。一个覆盖文本、图像、音频和视频广告内容的共享 token 空间，可以让模型使用同一种表示来理解用户感兴趣的内容以及广告主能够提供的内容，而不必再拼接分别训练的 embedding。
随着推荐系统从判别式评分逐步演进，并纳入生成式推理，其数据基础也需要从短暂的一次性 ID 演进为稳定的语义表示。GenRecs Tokenization 提供了这一基础，将 Meta 广告生态系统的复杂性转化为一种生成式模型能够学习、推理并据此生成内容的词汇表。
致谢
我们感谢 Weifeng Cui、Ling Leng、Luke Simon、Hadar Ohana、Jimmy Chen、Minghai Chen、Chiyu Zhang、Dinesh Ramasamy、Debajyoti Roy、Shawn Shi、Gajanan Golegaonkar、Xiao Yang、Ashkan Aleali、Anuj Gargava、Xizhou Feng、Liquan Huang、Frank Shyu、Xiaoyu Chen、Kungang Li、Chonglin Sun、Matt Steiner、Sandeep Pandey、Santanu Kolay、Anuj Madan、Tak Yan，以及参与 Meta 广告推荐系统首个大规模语义 token 化项目开发和生产化的全体团队成员。
本文《GenRecs Tokenization：以稳定的模型词汇重塑 Meta 的广告推荐》首发于 Engineering at Meta。（来源：MLion）