只要花得起合理的 token 成本，一个人就可以完成过去一支百人精英工程团队才能完成的工作。这在创业公司的选项集里曾经完全不存在，现在却成为现实。
文章作者：后浪进化星球
文章来源：华尔街见闻
在斯坦福的一堂系统设计课上，OpenAI CEO Sam Altman 谈了一个正在发生的变化：只要花得起合理的 token 成本，一个人就可以完成过去一支百人精英工程团队才能完成的工作。这在创业公司的选项集里曾经完全不存在，现在却成为现实。他还谈到了“规模”的魔力、ChatGPT 和 Codex 如何被用户“发现”、AI 正在变成像电力一样的新公用事业，以及为什么押注 LLM 规模化是当前最不该做的事。
以下为 Sam Altman谈话实录：
一、一个人加合理 token 成本，可以做百人团队的事
现在，只要你愿意花合理的 token 成本，一个人就能完成过去一支非常优秀的百人工程团队在创业公司里能做的事情。这在以前完全不可能，根本不在创业公司的选项集里；现在它成了现实。
所以，你能承担的雄心、你能达到的速度、你一次能推进的事情数量，都完全不一样了。这不是渐进变化，而是选项集本身变了。
我不知道为什么下面这个观察成立，我也没有一个让我满意的理论解释，所以推荐别人照做时我会有点紧张。但从经验上看，它确实成立：我职业生涯中观察到的所有最有趣的事情，都和规模带来的涌现属性有关。
当某件事在较小规模上已经以有趣的方式奏效，而你可以把它推向前所未有的规模时，多数情况下这是个好主意，而且大多数人做得远远不够。AI 模型的 scaling laws 是这样，把更多聪明人聚在一起研究一个问题是这样，公司和经济规模也是这样。
我在 YC 真正学到了这一点。当时所有人都说 YC 太大了，应该缩小，每批只投 10 家公司才是最好的时候。很多非常聪明的人都这么说。这很诱人，因为工作量会小很多。但 YC 的魔力很大一部分来自批次内部的网络效应，那是一种只有在规模上才会出现的涌现属性。在此之前，没有人以同样方式大规模投资初创公司，所以也没人发现这一点。
二、规模化的难点：东西会以不可预测的方式坏掉
人们不常做规模化，一个原因是：随着规模扩大，东西会以越来越快、越来越不可预测的方式坏掉。如果你真的要把某件事做大，它总是有点小毛病。而且总会有非常聪明的人告诉你：不要野心太大，不要搞太大，我们试试小一点的。
所以，规模化本质上是一个系统设计问题。以我们扩大 AI 模型规模为例，当时要回答的问题包括：技术上到底能不能做？没人试过跨 1 万或 10 万张 GPU 跑训练，这需要大量工程人才；资本需求怎么解决？商业模式在哪里？你怎么能承担这种风险？研究人员也会说：既然有这么多算力，为什么全押在一个项目上？为什么不分给多个项目？
把这些难点逐条拆开，一次解决一个，非常重要。在几乎所有规模化领域，这都是通用方法。
三、人类最难重构：清晰目标、清晰计划、清晰决策方式
规模化时，最难重构的往往不是技术，而是人的部分。你对大规模组织人类参与系统有什么经验？
我的答案是：清晰的目标、清晰的计划、清晰说明如何到达那里，以及在路上如何做决策。这非常重要。
回到我们决定规模化深度学习的例子。很多人说这行不通，会有这些问题，我们需要更分散的投资组合。但一旦我们说：“不，我们要押注规模化深度学习。这是我们的方向。如果我们错了，我们会失败，但我们就是要做。原因如下，我们相信如果到达那里，世界会是什么样。”这种清晰本身非常有力量。
而且，人类进化得并不擅长思考指数增长。人们很难想象 scaling laws 会继续指数增长、收入会指数增长、组织能承受指数级复杂性。根据我的经验，真正和人们从第一性原理出发推理“为什么这会发生”，需要很长时间。
四、ChatGPT 不是规划出来的，是用户“发现”的
我们做了 GPT-3，需要赚钱，因为想扩展到十亿、几十亿美元级别的计算机。GPT-3 是个很酷的 demo，但我们找不到围绕它构建的产品。试了一些东西，都没成。我们知道模型会变好，但也想尽早启动收入引擎。于是我们说：既然想不出产品，就先做成 API，希望别人能想出产品。
2020 年夏天，我们发布了 GPT-3 API。最初几乎完全没有 traction。大约一个月后，就我们所知，它随机在 Twitter 上病毒式传播了。同一天，几个不同开发者用它做出很酷的东西，发了出来，其他人开始尝试。
但如果你回去用 GPT-3 或 3.5，你会震惊于当时的模型相对于引发的兴奋有多么糟糕。人们试了各种东西，真正以显著方式跑通的业务只有文案写作。那不算多好，也不算多激动人心。我们当时想：只能等更好的模型了。
但虽然只有文案写作跑通，开发者已经学会放一个 prompt，然后和它聊天。我们看到很多人没法把 API 用于业务，却用 API key 纯粹聊天。我们说：人们显然想要一个好用的聊天机器人。
我们当时有 GPT-4，但中间还有一个准备好的模型，叫 3.5。我们还找到一种新的后训练方法，让模型更好地遵循指令，更容易聊天。我们说：API 也许只是个一千万到两千万美元 run rate 的业务，但有件事人们很喜欢。按照 YC 原则——看用户喜欢什么，然后去做——我们围绕它做一个聊天机器人。
我们发布时仍然没觉得它会那么成功。它本来更像一个研究 demo，为了说服别人去构建聊天类产品并购买 API。结果它疯狂病毒式传播。
我从 YC 学到的另一件事是：当某件事开始快速增长，而且它还不够好时，你手里基本就有一个保证会爆的产品。有五天，流量冲高、回落，大家都说“只是炒作周期”；但第二天峰值更高，再回落，人们又说炒作。到第四五天，我就知道：我们知道它会怎么发展，我们手里有一个潜在杀手级产品。
到第五天，我们把所有人召集起来说：这是紧急状态，但是好的紧急状态。我们必须同时建一家公司和一款产品。然后是两个月的疯狂扩张。商业模式以后再说，先收费，至少别让计算机账单把我们烧穿。这显然不是长期答案，但当时就是先让它跑起来。
五、Codex 原本是主计划：编程是模型控制世界的方式
在 ChatGPT 之前，我们的计划其实是全力投入代码。我们知道这些模型能写代码，知道那会是有价值的领域。但我们内部当时的信念是：编程是模型控制计算机的方式，机器人是模型控制物理世界的方式。如果你做出足够聪明的模型，给它写代码、控制机器人、驾驶机器人的执行器，你就能让智能在现实世界里为你做事。
我们花了一段时间才走到那里。Codex 在今年早些时候已经变得很好，但5.5 才是真正的拐点，人们开始用它做不可思议的事情。
现在的能力管线大致是：预训练、中训练、后训练，然后 RL 和监督反馈循环。我认为这确实是当前管线，但我预计我们会经历一次重大重写。我不知道什么时候、具体怎么发生，但它作为一条“管线”存在，本身有点奇怪，感觉不是最优解。
最优解是什么？我认为这是 AI 要去研究解决的问题。我们设定了目标：到今年九月，使用相当于 50 万张 A100 的算力，作为 AI 研究实习生；到 2028 年 3 月，拥有一个完整的、端到端的、非常有才华的 AI 研究员，能自己发现全新架构。
所以，用当前管线和架构，我们可能会跨过那条线：AI 能做出令人难以置信的工作。
六、AI 正在变成新的公用事业：卖“智能”很难让人共鸣
我认为我们正在创造一种新的公用事业。这并不常见。电力是公用事业，互联网是公用事业，水也是，这类东西不多。所以，我们没有很多现成比喻或经验，教我们如何向世界解释它。
我最近研究了电力成为公用事业时发生了什么。早期电力公司不推销“电”，因为没人知道电是什么，为什么想要它。电听起来很可怕：它会进你家，可能杀死你，感觉和之前的世界完全不同。也许他们试过卖电、营销电，但没成功。
后来他们开始卖的是：夜晚的光。你从我们这里得到的不是电，而是夜晚的光。顺便说，同样的东西还能做很多其他事。但人们会问：我为什么想要那个？他们会说：有一天它还能帮你洗衣服。人们说：不，那太远了，我接受不了。
我不知道 AI 对应的“夜晚的光”是什么。但即使我们完全正确，智能会成为每家公司、每个客户、每个政府都需要接入的新公用事业，你会有某种 OpenAI token 订阅，插到一切东西上，一直为你运行、做各种惊人的事——至少现在，我不认为用“我们在卖智能”来类比是正确方式，因为人们没有共鸣。
如果我们想成为新的公用事业，就需要找到一种方式，向世界解释：拥有这样一根智能管道，你可以用它做任何想做的事，到底意味着什么。
作为消费者、企业或个人，你最终会以更接近 token、甚至比 token 高一个层次的方式思考。你不会太在意硬件在哪里、具体是什么芯片、什么在供电，这些会被抽象掉。你关心的是：我和系统互动时，能大量使用吗？便宜吗？做得好吗？
现在，它像 token。随着我们进入一个人人都有一个持续运行的 agent、一直为我们服务、一直有用的世界，你可能想到的还会更高一层。就像你付手机账单时，想的是“购买通话时间和流量，访问整个系统”，而不会想基站里具体什么硬件、怎么连到互联网。底层硬件会被抽象掉。
七、押注 LLM 规模化会失败，是当前最误导的判断
关于 Yann LeCun 说“LLM 是死路”的观点：首先，就达到人类水平智能而言，这些模型在某些方面已经远远超过人类，在另一些方面又远不如人类。比如，在非常长期、高判断力的任务上，它们似乎比人差很多。
但另一方面，就在昨天，我们的一个模型发现并证伪了一个 Erdős 问题猜想，那是聪明人研究了很久的问题。很多聪明科学家，我不知道 LeCun 是否其中之一，甚至最近还说过这不会发生。然后模型就这么做了。现在数学家们在问：数学是不是要结束了？这对我们领域意味着什么？
所以，LLM 显然有能力发现新知识，显然能完成一些人类无法完成的智能任务。它们还会继续规模化。它们能比人类做得更好的任务分布会有多大，我们拭目以待，但我怀疑很多。
而且，之前我们谈到的“对指数增长缺乏信念”，这个领域确实被一代科学家拖累了，他们对“规模化不会产生什么”过于确定。然后另一些人只是看图表，说“看起来还在漂亮地继续，那就继续”。
世界模型显然重要，机器人等事情需要它。但在当前节点押注 LLM 规模化会失败，我觉得非常误导。
八、给“一人前沿实验室”的建议：去研究推理，让智能廉价而丰富
如果我在这个班上，做“一人前沿实验室”项目，我会做什么？
首先，你们的项目很棒。现在很多非常聪明的人在研究训练想法，我们很快会有令人难以置信的模型，我保证。但我认为我们在“大规模交付大量廉价智能”上投资不足。
所以，也许我会去研究推理栈：我们如何让这种惊人的智能变得廉价、丰富？我认为这方面投资不足。而且，所有前沿实验室在很大程度上最终都必须成为推理公司。
现在改项目可能有点晚，但晚总比没有好。做你想做的。
结语
这场访谈勾勒出Sam Altman对规模、产品和AI未来的几个核心判断：一个人加适量token就能完成百人团队的工作；规模往往带来超出共识的涌现特性，但大多数人没有足够地去推动它；ChatGPT和Codex的诞生都源于“看看用户喜欢什么，然后去做”；AI正在成为一种新型公用事业，而我们还没有找到向世界解释它的“夜晚的光”；当前的能力管线不是最优解，需要重大重写；而面对指数增长，不要让身份绑架你对真相的判断。
正如Altman所说：“如果你把自己的身份认同绑定在某个特定事情会成功或不会成功上，你太执着于自己的身份，就放不下，看不到真相。”这或许是这个指数级时代对我们每个人最重要的提醒。