CertiK 与哥伦比亚大学研究人员发布 TensorLean 技术成果,全球首次完成 DeepSeek 与 FlashAttention 生产级 AI 算子形式化验证

这项突破让数学证明能够用于经过复杂性能优化的真实 AI 计算代码,为大模型厂商在提高训练速度、降低推理成本时,提供更严格的正确性保证。

文章作者、来源:CertiK

11 月 20 日,CertiK 公布了与哥伦比亚大学研究人员共同取得的 TensorLean 技术成果,完成全球首次生产级 AI 算子形式化验证。这项突破让数学证明能够用于经过复杂性能优化的真实 AI 计算代码,为大模型厂商在提高训练速度、降低推理成本时,提供更严格的正确性保证。

大模型训练和生成回答,依赖 AI 算子库中的底层计算程序。这些运行在 GPU 上的程序称为 GPU 内核。一处错误就可能让系统在照常运行时悄悄算出错误结果,影响后续输出,甚至让训练偏离预期。以情景测算为例,一次投入 1 亿美元算力的训练,若有 1% 的计算因错误需要重做,就意味着额外花费 100 万美元。

形式化验证的核心价值,是用数学证明排除错误与漏洞。 常规测试通过具体样例寻找问题;形式化验证则能够证明,程序在规定的输入和运行条件下始终符合要求,不存在验证范围内的错误与漏洞。

将这一方法用于生产级 AI 代码,难在处理真实的性能优化。GPU 程序会边搬运数据边计算,随任务大小调整运行安排,并采用更低精度的运算。TensorLean 能够同时处理这些复杂条件,直接验证程序编译后生成的 PTX 代码,证明计算在规定条件和误差范围内符合要求。所有证明均在 Lean 中完成,可由机器验证。

TensorLean 研究团队成员强巍和杨淦翔表示:“这些复杂优化,恰恰是生产级 AI 代码跑得快的原因。我们的挑战,是在不忽略这些真实运行条件的前提下完成证明,让严格验证能够适用于实际使用的高性能代码。”

研究团队对 149 个已编译的 GPU 内核实例进行了评估,并通过形式化证明验证了其中 83 个符合相应的 Lean 规格。此次研究覆盖不同代际的 GPU 架构,并涉及 DeepSeek 的 DeepGEMM 和广泛使用的 FlashAttention 算子库。团队共在 6 个库中发现 38 个正确性问题,其中 DeepGEMM 有 2 个,FlashAttention 有 23 个。

CertiK 联合创始人、哥大计算机系教授顾荣辉表示:“发现漏洞之后,还需要证明修复后的程序在规定条件下符合要求。对大模型厂商而言,每一次提速都应有可靠的正确性依据。我们希望让这种严格验证跟上代码迭代,把计算错误的风险尽量挡在大规模训练和部署之前。”

这项成果对大模型厂商的实际价值,落在每一轮性能优化上。 代码更新后,研发团队除了测量速度提升,还可以重新执行验证,检查优化是否引入计算错误,并对满足要求的程序给出可由机器核验的证明。这有助于降低算力浪费、训练返工和错误结果流入后续计算的风险。

同类计算还可以复用已有的验证要求,使这套方法能够用于更多内核,并随代码更新反复执行,为持续提高 AI 计算效率提供更可靠的基础。

今年 10 月,Anthropic 也公布了利用 Claude 为开源软件构造数学证明的研究。TensorLean 聚焦 AI 自身的底层计算,展示了自动化形式化验证在生产级 AI 代码中的应用价值。

媒体联系人:

Elisa Yiting Xu

yiting.xu@certik.com

视频youtube链接:

https://youtu.be/pXoEDVfqjco