为使本文更精确、扎实，我们需要明确定义强大AI的含义（即启动5-10年倒计时的门槛），并建立分析这类AI出现后有何影响的思考框架。
强大AI（我不喜欢AGI这个术语）【3】会是什么样子，它何时（或是否）会出现，本身就是个巨大话题。这是我公开讨论过的内容，也可能会专门写篇文章（可能之后会写）。显然，很多人对强大AI会很快建成持怀疑态度，有些人甚至怀疑是否能建成。我认为它最早可能在2026年出现，当然也有可能需要更长时间。但就本文而言，我想把这些问题放在一边，假设它会在相当短时间内出现，重点关注之后5-10年会发生什么。我还想对这样一个系统会是什么样子、具备什么能力以及如何交互做出定义，尽管这些都有争议的空间。
我所说的强大AI，指的是一个AI模型，可能在形式上类似今天的LLM，但也可能基于不同架构，可能涉及多个交互模型，训练方式也可能不同，但它具有以下特征：
* 就纯粹智能而言【4】，它在大多数相关领域都比诺贝尔奖得主更聪明，包括生物学、编程、数学、工程、写作等。这意味着它能证明未解决的数学定理、写出极好的小说、从零开始编写复杂的代码库等。
* 除了仅仅是"一个可对话的智能体"外，它还具备人类在虚拟工作中可用的所有"接口"，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以进行这些接口允许的任何行动、通信或远程操作，包括在互联网上采取行动、接受或给出指示、订购材料、指导实验、观看视频、制作视频等。同样，它在这些任务中的表现都超过最优秀的人类。
* 它不只是被动回答问题，而是可以接受需要数小时、数天或数周才能完成的任务，然后像一个聪明的员工一样自主完成这些任务，必要时会寻求澄清。
* 它没有物理实体（除了存在于计算机屏幕上），但可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上它甚至可以设计机器人或设备供自己使用。
* 用于训练模型的资源可以重新部署用于运行数百万个实例（这与2027年的预计集群规模相匹配），模型能以大约超过人类10-100倍的速度【5】吸收信息和生成行动。不过它可能会受到与物理世界或它交互的软件响应时间的限制。
* 这数百万个副本可以独立处理不相关任务，或者在需要时像人类协作那样一起工作，可能有不同的子群体经过微调以特别擅长特定任务。
我们将上述论断概括为"数据中心里的天才国度"。
显然，这样的实体能够非常快速地解决难题，但要弄清楚具体有多快并不容易。我认为两种"极端"立场都是错误的。其一，你可能认为世界会在几秒或几天内立即改变（"奇点"），因为卓越的智能不断自我提升，几乎立即解决每一个科学、工程和操作任务。这种观点的问题在于存在真实的物理和实践限制，例如硬件制造或生物实验方面的限制。即使是一个新的天才国度也会遇到这些限制。智能可能非常强大，但它不是魔法粉末。
第二种极端观点认为，技术进步已经饱和或受限于真实世界数据或社会因素，超人类智能的加入不会有啥改变【6】。这在我看来同样不可信，我能想到数百个科学甚至社会问题，在这些领域里，一大群真正聪明的人会极大地加快进展，特别是当他们不仅限于分析而且能改变现实世界时（我们假设的天才国度就具备这种能力，包括指导或协助人类团队）。
我认为真相可能是这两种极端图景的某种复杂混合，在不同任务和领域有所不同，细节上非常微妙。我们需要新的框架来富有成效地思考这些细节。
经济学家经常谈论"生产要素"：如劳动力、土地和资本等。"劳动力/土地/资本的边际收益"概念捕捉了这样一个想法：在特定情况下，某个要素可能是限制性因素，也可能不是，例如，空军需要飞机和飞行员，如果飞机用完了，增加飞行员数量帮助不大。我认为在AI时代，我们应该讨论智能的边际收益【7】，并试图找出在智能水平很高时，哪些其他因素与智能互补，并成为限制因素。我们不习惯询问"在这个任务中，更聪明能带来多大帮助，时间尺度如何？"，但这似乎是概念化强大AI世界的正确方式。
我猜测限制智能，或与智能互补的因素包括：
* 外部世界的速度。智能体需要与世界互动才能完成任务，也需要互动来学习。但世界运转有其固定速度【8】。细胞和动物以固定速度运行，因此对它们的实验需要一定时间，这是不可减少的。硬件、材料科学、任何涉及与人交流的事情，甚至我们现有的软件基础设施都是如此。此外，在科学研究中，往往需要多个连续实验，每个实验都要从前一个实验中学习或在其基础上发展。这意味着完成一个重大项目，例如开发癌症治疗方法，可能至少需要一个最短时间，即使智能继续提高也无法进一步缩短。
* 数据需求。有时原始数据缺乏，使得再多智能也无济于事。今天的粒子物理学家非常聪明，已经发展出各种理论，但由于粒子加速器数据如此有限，他们缺乏判断选用哪种理论的数据。即使他们拥有超级智能，情况也不会有太大改善，除了通过加快建造更大加速器的速度，来获取更多数据。
* 内在复杂性。有些事物本质上是不可预测或混沌的，即使最强大AI也无法比人类或今天的计算机预测或理解得更好。例如，即使是极其强大的AI也只能在混沌系统中比现在多预测一点点（比如天气）。这是因为在混沌系统中【9】，微小误差会随时间呈指数级增长。
* 人类约束。很多事情如果不违法、不伤害人类或不扰乱社会秩序就无法完成。一个与人类价值观对齐的AI不会想做这些事（如果我们有一个未对齐的AI，那就需要重新讨论风险了）。许多人类社会的结构，效率低下甚至有害，但改变它们需要时间，即使是非常聪明的AI也必须在这些约束下工作。
* 物理定律。这是第一点的更极端版本。有些物理定律似乎是不可打破的。不可能超光速旅行。布丁不会自行搅拌回原状。每平方厘米芯片只能容纳一定数量晶体管，否则就会变得不可靠。计算需要能量。这些限制可能会限制某些进展。
进一步区分，源自时间尺度。短期内的硬性约束在长期会变得更容易受智能影响。例如，智能可用来开发新的实验范式，使我们能在体外学习过去需要活体才能学到的东西。或者它可能帮助我们找到绕过某些物理限制的方法（比如用量子计算代替传统计算）。但这需要时间，而且某些限制或许永远存在。
这些限制因素的相对重要性在不同领域会有很大差异。在某些领域，比如纯数学，智能可能是唯一重要的因素。在其他领域，比如生物学，实验时间可能是主要限制。在社会科学领域，人类约束可能最为重要。理解这些差异对于预测进展速度至关重要。
因此，我们应该设想这样一幅图景：智能最初受到其他生产要素的严重制约，但随着时间推移，智能本身越来越能绕过这些其他因素，即使它们永远不会完全消失（而且一些物理定律是绝对的）【10】。关键问题是这一切发生的速度和顺序如何。
基于上述框架，我将尝试回答前面提到的五个领域的这个问题。
译者注：
～待续～
感谢阅读，欢迎转发、点赞👍和推荐❤️，谢谢！