2 月 3 日，莱克斯・弗里德曼（Lex Fridman）与迪伦・帕特尔（Dylan Patel）、内森・兰伯特（Nathan Lambert）进行了一场长达 5 小时的播客，围绕DeepSeek、人工智能、OpenAI、NVIDIA、xAI、TSMC、Stargate以及人工智能超级集群等展开探讨，以下为核心要点。
文章作者、来源：Herbert Yang
文章编译：Ada,MetaEra
这档长达 5 小时的访谈，肯定是我听过时长最长的播客节目了，但依然物有所值。以下是我做的笔记，我并非逐字逐句记录他们的每一句话，只是摘选了我觉得有用的内容。完整文字记录可在此处查看。
注意：开头 13 分 15 秒全是广告！
DeepSeek 与 LLM（大语言模型）之争
1、开源 vs 开放权重
（1）开源需要完全的透明度，包括透明的训练数据、代码和参数等；
（2）开放权重在狭义上聚焦于模型参数，不一定涵盖训练方法或数据集；
（3）DeepSeek R1 既是开源的，也开放权重；
（4）Meta 的 Llama 在实际中只是开放权重的。
2、相较于 DeepSeek R1，Llama 3 的技术论文在可操作性方面有所欠缺。
3、DeepSeek 采用的是 MIT 许可证，比 Llama 的许可证（单方面施加诸多实际上违背开源精神的限制）要宽松得多，MIT 许可证是所有许可证中最友好的。
4、开放权重使用户能够在本地部署大语言模型，而无需依赖基于服务器的 API。
5、为什么 DeepSeek 可以如此低成本地完成训练（约 500 万美元）？
这得益于 MoE（一种神经网络架构）和 MLA（一种创新的注意力机制）技术。
6、Llama 是一种密集模型（基于 Transformer 架构），其所有参数都会被激活并投入使用。
7、MoE 架构在处理问题时只会调用部分相关参数，这点类似于人类大脑。这个模型会针对不同的任务，学习如何在各个节点间进行智能穿梭，进而拓展出更多参数存储的空间。以 DeepSeek R1 为例，其每次计算需要调用 370 亿个参数。
8、DeepSeek 使用 PTX（一种低级编程语言）直接与芯片进行通信调度，绕过了英伟达的 CUDA（一种并行计算平台和编程模型）库。
9、英伟达的 CUDA 是一种适用于任何大语言模型的标准通用模型，但会牺牲性能。
10、DeepSeek 的 MoE 架构中有 32 个专门化的神经网络，这一比率极高。如此高的比率要求对神经网络进行非常高效的编排，以避免所有数据都由单个神经网络处理。
11、DeepSeek R1 在众多大语言模型中脱颖而出，从中获得的教训是要排除所有人为障碍，让机器自主学习。
12、人工智能实验室就像芯片制造商或制药商。训练大语言模型要经历许多次失败，耗费大量的时间和金钱，直到找到最优的训练方式。
13、为什么让量化基金涉足人工智能研究是一件顺理成章的事？
需要自然语言处理（NLP）技术来处理新闻稿。
14、Fridman 一定很想邀请梁文峰参加他的播客，因为他刚聘请了一位中文翻译。
15、DeepSeek 公开宣称仅使用 2000 个 GPU（图形处理单元）来训练 V3, 但并未分享其他研究工作的成本数据，以及与母基金共享的数据，SemiAnalysis 估计 DeepSeek 拥有接近 5 万个 GPU。
人工智能芯片的出口管制与竞争
1、出口管制对中国不会起太大作用，总会有办法绕过去。
2、Fridman, Lambert and Dylan 认为 2030 年将是通用人工智能问世之时。
3、OpenAI 建造数据中心的“Stargate”项目一旦完工，将提供 2 吉瓦功率。在没有供应限制的前提下，这与中国强大的工业生产力所能创造出来的成果相比，并没有什么特别之处。
4、假设一下，怎样才能对世界经济造成最大损害？
打击台积电的研发中心
5、“中国制造 2025”中的一些目标（80% 国产化）已经实现，但半导体行业尚未达成。
6、在双霸权的世界格局下，未来还会有更多波折。
7、人工智能芯片最重要的三个方面：
芯片间的互联
浮点运算
内存带宽
8、H20（去年向中国出货 100 万块）看似是 H100（禁止向中国出口）的阉割版，但在某些特定任务上，实际表现更优。它削减了每秒浮点运算的次数，但在互联方面与 H100 相当，在内存带宽上甚至更胜一筹。
9、预训练主要依赖于每秒浮点运算的次数。
10、过去，美国政府在出口管制中只关注芯片的每秒浮点运算次数，然而另外两个方面同样重要。
11、输出数据比输入数据成本更高，因为输入数据可以批量处理，而输出数据不行。输出数据的计算是非并行操作的。
12、内存正变得极为重要。过去几个月，人工智能智能体对内存的需求大幅增加。输出序列必须存储在内存中，这意味着同一时间能够服务的用户数量减少。
13、所有大中型企业都在竞相为 DeepSeek 的 API 提供服务，但实际测试中的吞吐量都很低。
14、DeepSeek 的注意力机制与 Attention Is All You Need》论文中所描述的注意力机制不同。
15、OpenAI 在推理环节利润颇丰，但这仍不足以弥补其训练成本。
16、开源将成为主流。DeepSeek 已拉平竞争环境并树立了高标准。
17、英式英语正在式微，因为大语言模型都是用美式英语训练的（由旧金山的几家科技公司完成）。
18、“超人类说服力将会先于超人类智能出现。”——Sam Altman
19、“我越使用互联网，就越感觉自己的思想被他人操控。”——Lex Fridman
20、如何在大语言模型中实现正确校准，如实保留事实？
这极难做到。如果大语言模型在预训练中接收了错误指令，要剔除它将付出巨大努力。
21、系统提示可以在后台覆盖用户提示。谷歌的 Gemini 就曾出现执行错误，在那场臭名昭著的“Black Nazi”争议中就引入了多样化提示。
22、两种学习方法：
a、模仿学习（预训练、监督训练、微调）
b、试错学习（强化学习）
c、方法 b 比方法 a 更有效
d、所有神奇之处皆源于方法 b
23、新加坡贡献了英伟达约 20% 的营收。
24、美股政府制定的限制规则将对中国的人工智能公司产生切实影响，尽管 DeepSeek 的大语言模型很出色，但是它没有足够的 GPUs 来服务用户
25、Reddit 的影响力依然很大，因为其各类主题板块的内容都被所有大语言模型抓取使用。
26、许多人工智能初创公司一开始会利用 OpenAI 的数据进行训练来帮助起步。
27、日本是开展人工智能研究的好地方：
有 9 吉瓦限量的核电；
有允许无限制地从互联网获取训练数据的法律；
扩散规则对日本没有限制，日本可以放手去做。
数据中心和 Stargate
1、一座典型规模的数据中心功率为 15 - 20 兆瓦。
2、从长远优化规划来看，能源效率最高的核电站应紧邻数据中心布局。
3、短期内，在水电站附近建造数据中心更为简便。
4、如今，吉瓦级的数据中心已屡见不鲜，所有一线科技巨头都在奋力角逐。
5、人工智能训练要求将 GPU 集中在单个集群（数据中心）内，以实现最优运算速度（避免数据通过远程站点传输），这就是数据中心规模不断扩大的原因。
6、目前英伟达尚无强劲竞争对手。AMD（超威半导体）硬件出色，但软件欠佳。
7、任何基于 GPT - 3 或 GPT - 4 的业务都将难以为继。
8、如今，在人工智能领域里，唯有硬件尚有盈利空间。
9、像 Perplexity 这类做人工智能封装的公司也能赚钱。
10、软银如今资金没那么充裕了（马斯克说得没错）。孙正义得先抛售软银持有的 ARM 股份来回笼资金，进而投资 OpenAI。
11、实在难以理解“Stargate”项目将投资高达 5000 亿美元，1000 亿美元还算合理，也说得通。
12、美国政府并未向这 5000 亿美元的项目注资，其作用是促成该项目落地（不挥舞反垄断大棒）。