子川投资笔记微信公众号：“新知”栏目，关注AI、脑与认知、哲学与艺术、前沿科技等领域，力图提供最新和最好的外刊文章中译版；“经典”栏目，持续更新“巴菲特致股东信”精译及评注系列；“维特根斯坦”哲学系列；“洞见”栏目：分享关于技术进步、AI哲学与伦理、投资哲学的深度思考。
美国头部AI企业Anthropic（Claude） CEO ，Dario Amodei近日就DeepSeek，发表长文。我将这篇文章评价为，来自值得尊敬的对手的全面分析。原文值得关注AI企业成长规律，中美芯片竞合关系等话题的读者，逐字逐句参研。1. 按照DeepSeek实际达到的能力水平和行业成本下降的乘数，在去年12月份训练出这样水平的模型并不意外。一个公平的说法是"DeepSeek以更低的成本生产出了接近7-10个月前美国模型性能的模型"。2. 2024年，AI产业正处于一个独特的"交叉点"，在这里有一个强大的新范式，它处于扩展曲线的早期，因此可以以小投入快速取得巨大进展。3.DeepSeek-V3不是一个独特的突破或从根本上改变LLM经济学的东西；它是持续成本降低曲线上的一个预期点。这次不同的是，首先展示预期成本降低的公司是中国公司。这在以前从未发生过，具有地缘政治意义。4.Dario 对DeepSeek没有偏见，认可他们是一群非常天才的工程师。也无意阻止中国获取AI能力以改善科技、医疗生命质量，但他担心中国（或非美国盟友国家）掌握这种能力后会一通百通，尤其是获得压倒性的军事实力。因此最好的国策就是继续加强出口封锁。最好进入AI单极世界，令美国及其盟友获得长期优势。作为国人，看到他国精英提到的一些基于不同立场的政策建议，很多话看上去有些刺耳。不得不说，Dario从技术角度大部分都是对的，其政策建议从本位主义角度也符合其阵营观点。本篇文章是我们正确认识中国AI之路“道阻且长”，减少盲目自信，继续踏实攻克难关，制定策略的绝佳材料。但本人对这种将AI工具化的简单思维路径持怀疑态度，并表示十分担忧。此次AI引领的技术变革是人类自身能力跃迁至下一阶段的重大时刻，若不以全人类的共同福祉为出发点，而是继续制造隔阂、盘踞于所谓的制高点俯视异见国家，这种思维方式本身就值得警惕。AI和数据本质上是无国界的，如果人们以支离破碎的人类群体试图孕育无国界的AI，可能不会产生能够弥合人类巴别塔困境的天使；反而是加剧矛盾，催生出加速人类毁灭的恶魔。原文链接：https://darioamodei.com/on-deepseek-and-export-controls作者：Dario Amodei（Anthropic 创始人两兄妹中的哥哥）Dario Amodei 简介（Wikipedia）几周前，我提出了加强美国对中国芯片出口管制的理由。此后，中国人工智能公司 DeepSeek 以更低成本实现了在某些方面接近美国前沿AI模型的性能水平。在这里，我不会关注 DeepSeek 是否对 Anthropic 等美国AI公司构成威胁(尽管我认为关于他们威胁美国AI领导地位的说法大多被夸大了)【注1】。相反，我将关注 DeepSeek 的发布是否降低我们芯片出口管制政策的合理性。我认为并没有。事实上，我认为DeepSeek的出现使得出口管制政策比一周前更加重要。【注2】出口管制出于一个重要目的:确保美国站在AI发展的前沿。需要明确的是，这并非避免美中竞争的方式。最终，如果我们想要胜出，美国的AI公司必须拥有比中国更好的模型。但在没有必要的情况下，我们不应该将技术优势拱手让出。在阐述政策论点之前，我要描述三个AI系统基本动态特征：1. 扩展定律。AI的一个特性是 - 我和我的联合创始人在OpenAI工作时是最早记录这一点的 - 在其他条件相同的情况下，扩大AI系统的训练规模会平滑地提升各类认知任务的表现。例如，一个100万美元的模型可能解决20%的重要编程任务，1000万美元可能解决40%，1亿美元可能解决60%，以此类推。这些差异在实践中往往具有重大影响 - 再增加10倍可能对应着从本科到博士水平的技能差距 - 因此各大公司正在大力投资训练这些模型。2.曲线移动。AI领域不断产生大大小小的创新，令事情变得更有效或更高效：可能是模型架构的改进(对当今所有模型使用的基本Transformer架构的调整)，或者仅仅是在底层硬件上更高效地运行模型。新一代硬件也有同样的效果。这通常会移动曲线（https://arxiv.org/abs/2311.15377）：如果创新带来2倍的"计算倍增器"(CM)，你就可以用500万美元达到40%的性能水平，而不是花1000万美元；或者用5000万美元达到60%的性能水平，而不是花1亿美元，等等。每个前沿AI公司都经常发现许多这样的CM：经常是小的(~1.2倍)，有时是中等规模的(~2倍)，偶尔会有很大的(~10倍)。由于拥有更智能系统的价值如此之高，这种曲线的移动通常导致公司在训练模型上花费更多而不是更少：成本效率的提升完全用于训练更智能的模型，唯一的限制就是公司有多少钱。人们自然会被"先是昂贵，然后变便宜"的想法所吸引 - 仿佛AI是一个质量恒定的单一事物，当它变得更便宜时，我们就会使用更少的芯片来训练它。但重要的是扩展曲线：当它移动时，我们只是更快地遍历它，因为扩展曲线终点的价值如此之高。2020年，我的团队发表了一篇论文（https://cdn.openai.com/papers/ai_and_efficiency.pdf），表明算法进步导致的曲线移动约为每年1.68倍。这个速度可能已经显著加快了；论文也没有考虑效率和硬件因素。我猜测今天这个数字可能是每年~4倍。另一个估计在这里（https://epoch.ai/blog/algorithmic-progress-in-language-models）。训练曲线的移动也会移动推理曲线，因此多年来一直是模型质量不变而价格大幅下降。例如，比原始GPT-4晚15个月发布的Claude 3.5 Sonnet在几乎所有基准测试中都超过了GPT-4，同时API价格降低了约10倍。3.范式转移。偶尔，被扩展的底层要素也会发生一些变化，或者训练过程中会添加新的扩展类型。从2020年到2023年，主要扩展的是预训练模型：在互联网文本上训练的模型，顶部有少量其他训练。2024年，使用强化学习(RL)来训练模型生成思维链条已成为扩展的新焦点。Anthropic、DeepSeek和许多其他公司(可能最值得注意的是9月发布o1-preview模型的OpenAI)发现，这种训练大大提高了某些特定、客观可衡量任务的表现，如数学、编程竞赛，以及类似这些任务的推理。这种新范式涉及从普通类型的预训练模型开始，然后在第二阶段使用RL添加推理技能。重要的是，由于这种类型的RL是新的，我们仍处于扩展曲线的早期：所有参与者在第二阶段RL上的支出都很小。花费100万美元而不是10万美元就足以获得巨大收益。各大公司现在正在迅速将第二阶段扩展到数亿和数十亿规模，但关键是要理解我们正处于一个独特的"交叉点"，在这里有一个强大的新范式，它处于扩展曲线的早期，因此可以快速取得巨大进展。上述三个动态特征可以帮助我们理解DeepSeek的最新发布。大约一个月前，DeepSeek发布了一个名为"DeepSeek-V3"的纯预训练模型【注3】 - 上面#3中描述的第一阶段。然后上周，他们发布了添加第二阶段的"R1"。从外部无法确定这些模型的所有情况，但以下是我个人对这两次发布的尽可能理解。DeepSeek-V3实际上是真正的创新，应该在一个月前就引起人们的注意(我们当然注意到了)。作为预训练模型，它在一些重要任务上似乎接近美国最先进模型的性能【注4】，同时训练成本大大降低(尽管，我们发现Claude 3.5 Sonnet在其他一些关键任务上仍然要好得多，比如实际编程)。DeepSeek团队通过一些真正令人印象深刻的创新实现了这一点，主要集中在工程效率上。在"Key-Value缓存"这一方面的管理上有特别创新的改进，并且在推动"专家混合"方法方面比以前走得更远。* DeepSeek并不是"用600万美元【注5】做到美国AI公司需要数十亿美元才能做到的事"。我只能代表Anthropic说话，Claude 3.5 Sonnet是一个中等规模的模型，训练成本为几千万美元(我不会给出确切数字)。此外，3.5 Sonnet的训练方式并不涉及更大或更昂贵的模型(与一些传言相反)。Sonnet的训练是在9-12个月前进行的，但DeepSeek的模型是在11月/12月训练的，而Sonnet在许多内部和外部评估中仍然明显领先。因此，我认为一个公平的说法是"DeepSeek以更低的成本(但远不是人们所说的比例)生产出了接近7-10个月前美国模型性能的模型"。* 如果成本曲线下降的历史趋势是每年约4倍，这意味着在正常业务过程中 - 在2023年和2024年发生的正常历史成本下降趋势中 - 我们现在预期会出现比3.5 Sonnet/GPT-4o便宜3-4倍的模型。由于DeepSeek-V3比这些美国前沿模型差 - 让我们说在扩展曲线上差约2倍，我认为这对DeepSeek-V3相当客观 - 这意味着如果DeepSeek-V3的训练成本比一年前开发的当前美国模型低约8倍，那将是完全正常的，完全"符合趋势"的。我不会给出具体数字，但从前面的要点可以清楚地看出，即使按照表面价值接受DeepSeek的训练成本，他们充其量也只是符合趋势，可能甚至达不到。例如，这比原始GPT-4到Claude 3.5 Sonnet的推理价格差异(10倍)还要小，而3.5 Sonnet是一个比GPT-4更好的模型。所有这些都是说，DeepSeek-V3不是一个独特的突破或从根本上改变LLM经济学的东西；它是持续成本降低曲线上的一个预期点。这次不同的是，首先展示预期成本降低的公司是中国公司。这在以前从未发生过，具有地缘政治意义。然而，美国公司很快就会跟进 - 他们不会通过复制DeepSeek来做到这一点，而是因为他们也在实现通常的成本降低趋势。* DeepSeek和美国AI公司都比用于训练其标志性模型时拥有更多的资金和芯片。额外的芯片用于研发模型背后的想法，有时用于训练尚未准备好的更大模型(或需要多次尝试才能做对的模型)。据报道 - 我们不能确定这是真的 - DeepSeek实际上拥有50,000个Hopper代芯片【注6】，我猜这在数量级上与主要美国AI公司的芯片数量相差约2-3倍(例如，比xAI的"Colossus"集群少2-3倍)【注7】。这50,000个Hopper芯片的成本在10亿美元左右。因此，DeepSeek作为一家公司的总支出(与训练单个模型的支出不同)与美国AI实验室并没有太大差异。* 值得注意的是，"扩展曲线"分析有点过于简化，因为模型有所不同，有不同的优势和劣势；扩展曲线数字是忽略了很多细节的粗略平均值。我只能谈论Anthropic的模型，但正如我上面暗示的，Claude在编码和与人互动的设计良好的风格方面非常出色(许多人使用它来获取个人建议或支持)。在这些和一些额外的任务上，与DeepSeek的横向对比根本没有可比性。这些因素并不出现在扩展数字中。R1，也就是上周发布并引发公众关注爆发的模型(包括英伟达股价下跌约17%)，从创新或工程角度来看远不如V3有趣。它添加了第二阶段训练 - 在前一节的#3中描述的强化学习 - 并基本上复制了OpenAI用o1所做的事情(他们似乎在类似规模上有类似的结果)【注8】。然而，由于我们处于扩展曲线的早期，只要从强大的预训练模型开始，多家公司都可以生产这种类型的模型。在有了V3的基础上生产R1可能非常便宜。因此，我们处于一个有趣的"交叉点"，暂时几家公司都可以生产好的推理模型。随着每个人在这些模型上进一步向上移动扩展曲线，这种情况将很快不再存在。所有上述内容只是我主要关注话题的序言：对中国的芯片出口管制。根据上述事实，我认为情况如下：* 有一个持续的趋势，大多企业在训练强大的AI模型上花费将越来越多*，即使曲线定期移动，训练给定水平模型智能的成本迅速下降。只因训练更智能模型的经济价值如此之大，以至于任何成本收益几乎立即就被消耗掉了 - 它们被投入到那些原计划花费巨额成本训练的更智能模型中。在美国实验室尚未发现这些效率创新的情况下，DeepSeek开发的创新很快就会被美国和中国实验室应用于训练数十亿美元的模型。这些模型的表现将比他们之前计划训练的数十亿模型更好 - 但他们仍将花费数十亿。这个数字将继续上升，直到我们达到在几乎所有方面都比几乎所有人都聪明的AI。* 制造在几乎所有方面都比几乎所有人都聪明的AI将需要数百万个芯片，数百亿美元(至少)，最有可能在2026-2027年实现。DeepSeek的发布并没有改变这一点，因为它大致符合一直以来的预期成本降低曲线。* 这意味着在2026-2027年，我们可能会面临两个截然不同的世界。在美国，多家公司肯定会拥有所需的数百万个芯片(花费数百亿美元)。问题是中国是否也能获得数百万个芯片。【注9】-- 如果他们能，我们将生活在一个两极世界，美国和中国都拥有强大的AI模型，这将导致科学和技术的极快进步 - 我称之为"数据中心造就的天才国度"。两极世界不一定会永远保持平衡。即使美国和中国在AI系统上达到平衡，中国似乎也可能将更多的人才、资本和注意力集中在技术的军事应用上。结合其庞大的工业基础和军事战略优势，这可能帮助中国在全球舞台上取得主导地位，不仅是AI，而是一切。-- 如果中国无法获得数百万个芯片，我们将(至少暂时)生活在一个单极世界，只有美国及其盟友拥有这些模型。目前还不清楚单极世界是否会持续，但至少存在这种可能性：因为AI系统最终可以帮助制造更智能的AI系统，暂时的领先可能会转化为持久的优势。【注10】因此，在这个世界中，美国及其盟友可能会在全球舞台上取得主导和持久的领先地位。* 执行良好的出口管制【注11】是防止中国获得数百万个芯片的唯一方法，因此是决定我们最终是进入单极还是两极世界的最重要因素。* DeepSeek的表现并不意味着出口管制失败。如上所述，DeepSeek拥有中等以上规模的芯片，所以他们能够开发并训练一个强大的模型并不令人惊讶。他们的资源限制并不比美国AI公司严重多少，出口管制也不是促使他们"创新"的主要因素。他们只是非常有才华的工程师，展示了为什么中国是美国的严重竞争对手。* DeepSeek也没有表明中国总能通过走私获得所需的芯片，或者管制总是存在漏洞。我不认为出口管制的设计初衷就是要阻止中国获得几万个芯片。10亿美元的经济活动可以隐藏，但很难隐藏1000亿美元甚至100亿美元。一百万个芯片在物理上也可能难以走私。看看DeepSeek目前据报道拥有的芯片也很有启发性。根据SemiAnalysis的报道，这是H100、H800和H20的混合，总计5万个。H100自发布以来就被出口管制禁止，所以如果DeepSeek有任何H100，它们一定是走私的(注意英伟达已经声明DeepSeek的进展"完全符合出口管制")。H800在2022年初始轮出口管制下是允许的，但在2023年10月管制更新时被禁止，所以这些可能是在禁令前运送的。H20在训练方面效率较低，在采样方面效率较高 - 目前仍然允许，尽管我认为应该禁止。所有这些都说明，DeepSeek的AI芯片队伍中相当大一部分由尚未被禁止(但应该被禁止)的芯片组成；在被禁止之前运送的芯片；以及一些似乎很可能是走私的芯片。这表明出口管制实际上正在发挥作用并在适应：漏洞正在被关闭；否则，他们可能会拥有一支完整的顶级H100芯片队伍。如果我们能够足够快地关闭这些漏洞，我们可能能够阻止中国获得数百万个芯片，增加美国领先的单极世界的可能性。鉴于我对出口管制和美国国家安全的关注，我想在一点上说清楚。我不认为DeepSeek本身是对手，重点也不是针对他们。从他们接受的采访来看，他们似乎是聪明、好奇的研究人员，只想制造有用的技术。（译者注：最后一段涉及不当、有失偏颇的内容就译了。但值得注意的是，部分美国精英确实就是这么认为的）1 在本文中，我不对西方关于模型蒸馏的报道发表任何立场。在这里，我只是按照他们在论文中所说的方式接受DeepSeek的训练说法。2 顺便说一句，我认为DeepSeek模型的发布显然对英伟达不是坏事，对此作出反应而导致其股价大幅下跌(~17%)令人困惑。这个发布对英伟达不是坏事的论据比对AI公司不是坏事的论据更加清晰。但我在这篇文章中的主要目标是为出口管制政策辩护。3 准确地说，它是一个预训练模型，带有在推理范式转变之前的模型典型的少量RL训练。5 这是DeepSeek论文中引用的数字 - 我接受这个表面数值，并不怀疑这部分内容，只是质疑与美国公司模型训练成本的比较，以及训练特定模型的成本(即600万美元)与整体研发成本(远高得多)之间的区别。然而我们也不能完全确定这600万美元 - 模型大小是可验证的，但其他方面如token数量则不然。6 在一些采访中我说他们有"50,000个H100"，这是对报道的一个微妙的不准确总结，我想在这里纠正。目前最著名的"Hopper芯片"是H100(这是我假设所指的)，但Hopper还包括H800和H20，据报道DeepSeek拥有这三种芯片的混合，总计50,000个。这并没有太大影响，但还是需要纠正下。当我讨论出口管制时，我会更多地讨论H800和H20。7 注意：由于出口管制，我预计这个差距在下一代集群中会大大增加。8 我怀疑R1引起如此多关注的主要原因之一是它是第一个向用户展示模型表现出的思维链条推理的模型(OpenAI的o1只显示最终答案)。DeepSeek展示了用户对此感兴趣。需要明确的是，这是一个用户界面选择，与模型本身无关。9 注意，中国自己的芯片在短期内无法与美国制造的芯片竞争。正如我在最近与Matt Pottinger合写的专栏文章中所写："中国最好的AI芯片，华为昇腾系列，比美国英伟达生产的领先芯片的能力要差得多。中国也可能没有产能跟上不断增长的需求。今天在中国以外没有一个值得注意的华为昇腾芯片集群，这表明中国正在努力满足其国内需求..."。10 需要明确的是，目标不是阻止中国从非常强大的AI系统中获得科学、医学、生活质量等方面的巨大利益。每个人都应该能够从AI中受益。目标是防止他们获得军事主导地位。11 几个链接，因为有几轮行动。涵盖一些主要行动：一、二、三、四。一、https://www.reuters.com/article/technology/us-restricts-exports-to-chinese-semiconductor-firm-fujian-jinhua-idUSKCN1N328E/二、https://www.federalregister.gov/documents/2022/10/13/2022-21658/implementation-of-additional-export-controls-certain-advanced-computing-and-semiconductor三、https://www.axios.com/2023/10/17/biden-export-restrictions-ai-chips-china四、https://www.bis.gov/press-release/biden-harris-administration-announces-regulatory-framework-responsible-diffusion
～完～
感谢阅读，麻烦点个👍和❤️，谢谢！
