Andrej Karpathy认为,人们对大模型能力的理解已不再只是“乐观派与怀疑派”之间的分歧,而是形成了一条极窄的体验漏斗:约60亿人几乎没有接触过大模型,约10亿至20亿人只把免费聊天机器人当作更好的搜索或写作工具;约2000万名数学、编程等领域的专业用户,已经看到Agent把过去耗时数周或数月的项目压缩到一次提示和若干轮执行;最顶端可能只有约5000人能接触实验室内部的前沿系统,开始面对数千个Agent长期协作、自动寻找漏洞、推进数学和科学研究的能力。Karpathy强调,这些人口数字只是“餐巾纸估算”,并非调查结果;内部系统的许多能力也缺少公开复现。长帖真正提出的问题是:围绕AI影响的公共讨论,正在由拥有完全不同亲身证据的人共同参与,因此彼此越来越难以理解。
文章作者、来源:Andrej Karpathy
人们谈论的可能并不是同一种AI
Karpathy重新提起了自己今年4月提出的观点:人们对大模型能力的共同理解正在迅速消失。当时还可以把争论理解为两群人“各说各话”,现在却更像一条从全球人口逐层收窄的漏斗。
漏斗最宽的一层,是大约60亿名几乎没有真正接触过大模型的人。Karpathy将其估算为全球人口的约四分之三。这里的“没有接触”不一定意味着从未见过AI生成内容,而是没有亲自把大模型作为工具,持续用于解决真实问题。
第二层约有10亿至20亿人。他们偶尔使用免费版ChatGPT或类似产品,看到的通常是会犯低级错误的聊天机器人、更方便的搜索框、写作辅助工具,或者偶尔尝试替用户订机票的Agent。
在这种使用强度下,AI带来的收益可能十分有限。Karpathy提到,他的一些非技术朋友认为自己根本没有多少使用需求;即使是许多专业人士,日常工作的主体仍是与其他人开会、沟通和协调。对于他们而言,模型进展可以在知识层面理解,却仍然是二手和抽象的体验。
因此,当这部分用户听到“AI能力曲线正在垂直上升”时,自然可能觉得宣传远远超过实际产品表现。他们所看到的模型,确实还经常理解错问题、生成空洞文字,也无法稳定完成复杂现实任务。
约2000万名专业用户看到了另一种产品
漏斗再向下收窄,便进入Karpathy估算的约2000万名数学、编程及相关领域的专业用户,约占全球人口的0.2%。
这批用户使用的不是偶尔打开的免费聊天窗口,而是具备较强推理能力、能够读取代码库、调用工具并连续执行任务的前沿模型。Karpathy称,他们已经亲眼看到过去需要数周或数月的大型项目,被Agent在一段提示词之后逐步完成。
他列举的任务包括构建应用、仿制现有软件、跨平台迁移程序,以及从二进制文件中反编译和重建应用。重点不是这些工作已经能够百分之百无人完成,而是人类的参与方式正在改变:从逐字符编写代码,转向描述目标、检查计划、审阅修改和处理失败情况。
Karpathy以自己的经历作比较:不到一年前,他还在代码编辑器中手工输入记忆中的命令,偶尔按Tab键补全一小段代码。如今,专业编程Agent可以主动浏览项目、编辑多个文件、运行测试,再根据错误继续修改。
这种体验和“让聊天机器人帮我润色一封邮件”几乎不属于同一个量级。它也解释了为什么一小部分开发者会产生强烈的速度感,而大量普通用户仍然认为AI只是略有改进的搜索与自动补全。
最窄的一层,可能只有约5000人
Karpathy估计,真正能够使用实验室内部最前沿系统的人可能只有约5000名,占全球人口约0.00006%。他将外部用户目前看到的产品称为这类系统的“预告”。
按照他的描述,内部前沿系统已经开始呈现这样的形态:数千个Agent组成协作群,在数周时间里共同处理大型软件项目;以机器速度寻找零日漏洞、组织网络攻击与防御;在科学研究和前沿数学中探索过去可能需要顶尖专家多年才能完成的问题。
与此同时,人类审阅、理解和验证Agent产出的速度正在落后。Karpathy举例称,人们仍在对数月前的一起“OpenAI—Hugging Face事件”进行类似考古的分析;数学家也可能需要较长时间审查由前沿系统产生的722份数学手稿。
这些表述需要谨慎看待。Karpathy没有在长帖中提供内部系统的评测方法、完整任务记录或可供外界复现的原始材料。“约5000人”和其他人口数字均由他明确称为粗略估算;数千Agent协作、漏洞发现及科研能力也不能仅凭这篇帖子视为已经获得独立验证的普遍能力。
但他的核心论点并不依赖每个数字精确无误:真正影响认知的,是不同人能够接触到的系统之间已经存在巨大落差。
为什么这条漏斗会如此陡峭
Karpathy认为,漏斗由三个因素共同形成。
首先是任务的雄心、规模和执行时间。一道只需要一段文字回答的问题,几乎无法触及前沿系统的能力上限。要观察Agent的实际价值,用户必须拥有一批自己真正关心、规模足够大,而且允许系统长时间执行的问题。
换句话说,没有复杂代码库、研究项目或可自动化流程的人,即使获得同一个模型,也不一定会获得相同体验。AI能力并非自动转化为用户价值,它还取决于用户是否拥有能够承接这种能力的“问题蓄水池”。
第二个因素是模型能力的锯齿状分布。大模型并不是在所有工作上均匀进步;目前的能力高峰集中在数字化、结果可验证并且具有较高经济价值的领域,尤其是数学和编程。
Karpathy把这归因于强化学习训练方式:当任务存在明确、可自动检查的正确结果时,系统可以大量尝试,并从成功或失败中获得稳定奖励。软件能否编译、测试能否通过、数学答案是否正确,通常比“这次会议是否开得更好”容易验证。商业回报也会推动实验室优先建设这些训练环境。
第三个因素是访问权限。免费模型、付费前沿模型和实验室内部系统之间存在明显差距,而决定公共认知的,恰恰是用户能够亲自使用哪一层产品。
AI争论中的分歧,越来越像经验差异
这条长帖并没有断言大模型已经在所有行业达到相同水平,也没有证明AI将迅速替代所有职业。相反,“锯齿状能力”意味着模型可以在某些数字任务上表现惊人,却在看似简单的现实问题中失败。
Karpathy想说明的是,当公众讨论AI是否被高估、是否会改变工作以及是否需要更强治理时,参与者依据的可能是完全不同的第一手经验。
绝大多数人看到的是仍会犯错的聊天机器人;许多专业人士只获得温和的效率提升;一小批数学家和程序员正在经历工作方法快速重组;最少数实验室成员看到的,则是尚未向公众开放的多Agent系统。
所以,同一句“AI现在有多强”,实际上可能对应四个不同问题。争论双方未必只是在价值观上存在冲突,也可能在谈论四种能力层级完全不同的产品。