通过上述各种主题，我试图描绘一个可行合理的愿景：如果AI发展一切顺利，我们会到达一个比当今更美好的世界。我不敢确认这个世界是否真的现实，即使现实，也需要许多勇于奉献的人付出巨大努力和奋斗才能实现。每个人（包括AI公司！）都需要尽自己一份力量，既要防范风险，又要充分实现其带来的益处。但这是一个值得为之拼搏的世界。如果所有这些真的在未来5到10年内发生，战胜大多数疾病，生物和认知自由的增长，数十亿人脱离贫困共享新技术，自由民主和人权的复兴，我怀疑每个观察者都会对此产生的影响感到惊讶。我不是指亲身受益于所有新技术的体验，尽管那肯定会很惊人。我是指观察一套长期理想在我们面前实现的体验。我认为许多人会为此真正落泪。在写这篇文章过程中，我注意到一个有趣的张力。从某种意义上说，这里描述的愿景极其激进：几乎没有人预期它会在下一个十年发生，许多人可能认为这是荒谬的幻想。有些人甚至不认为它是可取的；它体现了并非人人都认同的价值观和政治选择。但同时，它又有某种显而易见，某种过度确定的特质，仿佛许多不同美好世界的愿景，都不可避免地大致导向这里。在Iain M. Banks的《游戏玩家》【29】中，主人公是一个名为"文化"的社会成员（该社会的原则与我本文阐述的理念相似）。他前往一个压制性的军事帝国，那里通过复杂的策略游戏来决定领导权。然而，这个游戏足够复杂，以至于玩家在游戏中的策略往往反映了他们自身的政治和哲学观点。主人公成功击败了皇帝，证明他的价值观（"文化"的价值观）即使在一个由弱肉强食、适者生存原则设计的游戏中也是制胜策略。Scott Alexander一篇广为人知的文章也持相同观点：竞争最终会自我瓦解，并导向一个建立在慈悲与合作基础上的社会。"道德宇宙的弧线"是另一个类似的概念。
我认为文化的价值观是制胜策略，因为它们是由数百万个具有明确道德力量并倾向于将每个人拉到同一阵营的微小决定组成的。人类对公平、合作、好奇心和自主性的基本直觉具有难以质疑的普遍性，而且它们能够不断积累增强，这是其他人类破坏性冲动所不具备的特性。容易论证，如果我们能预防某种疾病，孩子就可避免死于该病，以此为出发点，我们也容易论证每个人的孩子应平等享有免受疾病侵扰的权利。继而，我们不难论证，大家应该团结起来运用智力实现这一结果。很少有人觉得，人们因无谓攻击或伤害他人而受到惩罚是不对的，而从这一原则出发，很容易进一步推导出惩罚应当公平统一且有系统性。同样直观的是，人们应对自己的生活和选择拥有自主权和责任。这些简单直觉，从逻辑上，最终导向法治、民主和启蒙价值观。即使不是必然，至少作为统计趋势，这是人类已迈进的方向。AI只是提供机会，让我们更快到达那里，使逻辑更加鲜明，目的地更加清晰。
尽管如此，这是一种超越性的美。我们有机会在使其成为现实的过程中，扮演一些小角色。感谢Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe以及Anthropic公司的许多人审阅本文草稿。向2024年诺贝尔化学奖得主致敬，感谢他们为我们指明了方向。[1] https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace [2]我预计少数人的反应会是"这太平淡了"。我认为这些人需要现实些（用推特黑话说是“touch grass”，回到现实世界。更重要的是，从社会角度看，慢慢驯化是好事。我认为人们一次能应对的变化是有限的，而我描述的速度可能已接近社会在不产生极端动荡的情况下所能承受的极限。
[3]我发现AGI是个不精确的术语，它承载了许多科幻色彩和夸大宣传。我更倾向于使用"强大的AI"或"专家级科学与工程"这类术语，它们更准确地表达我的意思而不带夸大成分。
[4] 在本文中，我使用"智能"指代可应用于多种领域的通用问题解决能力。这包括推理、学习、规划和创造力等能力。虽然我在整篇文章中用"智能"作为简称，但我承认智能的本质在认知科学和AI研究中是复杂且有争议的话题。一些研究者认为智能并非单一统一的概念，而是一系列独立认知能力的集合。另一些人则主张存在一种支撑各种认知技能的通用智能因子（g因子）。这是另一个需要讨论的辩题。
[5]这大致是当前AI系统的速度，例如，它们能在几秒内阅读一页文本，在20秒内写出一页文本，这比人类完成这些任务的速度快10-100倍。随着时间推移，更大的模型往往会使这一过程变慢，但更强大的芯片又会使其加快；迄今为止，这两种效应基本相互抵消。
[6] 这可能看起来是在立稻草人，但像Tyler Cowen和Matt Yglesias这样的严谨思想家已将其作为严肃关切提出（虽然我认为他们并不完全持有这种观点），我也不认为这很荒谬。
[7] 我所知道最接近解决这个问题的经济学研究，是关于"通用目的技术"和作为通用目的技术补充的"无形投资"的研究。
[8]这种学习可以包括临时的、上下文内学习，或传统训练；两者都会受到物理世界的速率限制。[9]在混沌系统中，微小错误会随时间呈指数级累积，因此即使计算能力大幅提升，也只能略微改善预测的时间跨度，而实际上测量误差可能会进一步降低这种能力。[10]另一个因素当然是强大AI本身可能被用来创造更强大的AI。我的假设是这种情况可能发生（实际上，很可能会），但其效果可能比你想象的要小，正是因为这里讨论的"智能边际收益递减"。换言之，AI将继续快速变得更智能，但其效果最终会受到非智能因素的限制，而分析这些因素对于理解科学进步速度（除AI外）至关重要。
[11] 这些成就对我而言是一种启发，也许是现在AI用来改变生物学的最有力例证。
[12] "科学进步依赖新技术、新发现和新思想，可能就是这个顺序。" - Sydney Brenner [13]感谢Parag Mallick提出这一观点。
[14] 我不想用关于AI赋能科学的猜测塞满正文，但这里列出一些可能性的头脑风暴：
— 设计更好的计算工具，如AlphaFold和AlphaProteo，即通用AI系统加速我们开发专门的AI计算生物学工具的能力。
— 更高效和选择性的CRISPR。
— 更先进的细胞疗法。
— 材料科学和微型化突破，带来更好的植入设备。
— 对干细胞、细胞分化和去分化的更好控制，由此具备重新生长或重塑组织的能力。
— 更好地控制免疫系统：有选择地激活它来应对癌症和传染病，有选择地抑制它来应对自身免疫疾病。
[15]当然，AI也可能帮助我们更智能地选择要进行的实验：改进实验设计，从第一轮实验中学习更多，使第二轮能够聚焦关键问题，等等。[16]感谢Matthew Yglesias提出这一观点。[17]快速进化的疾病，如那些基本上将医院作为进化实验室来不断提高其抗治疗能力的多重耐药菌株，可能特别顽固，难以处理，这可能是阻止我们达到100%的因素之一。[18] 请注意，在5-10年内可能难以确认我们是否已经将人类寿命延长一倍。虽然我们可能已经实现了这一目标，但在研究时间框架内可能尚未得知。
[19] 这是我愿意采取更宏观视角的一个例子：尽管治愈疾病与延缓衰老过程本身存在明显的生物学差异，我仍选择从更远的角度观察统计趋势，并且认为"即使细节不同，人类科学很可能会找到方法延续这一趋势；毕竟，任何复杂事物中的平滑趋势，必然是由许多异质性组件累积形成的"。
[20] 举例来说，据我所知，每年生产力的增长率，增加1%甚至0.5%，在与这些项目相关的预测中都将产生变革性影响。如果本文设想的想法成为现实，生产力增长可能远超这一水平。
[21]媒体喜欢描绘身居高位的精神病患者，但普通精神病患者可能是一个经济前景不佳、自制力差的人，最终在监狱中度过相当长的时间。[22]我认为这在某种程度上类似于我们从可解释性研究中学到的许多结果（尽管可能不是全部）即使我们当前人工神经网络的一些架构细节（如注意力机制）以某种方式被改变或替换，也将继续保持相关性。[23]我怀疑这有点像经典的混沌系统，充满必须以主要去中心化方式管理的不可简化复杂性。不过正如我在本节后面所说，更温和的干预可能是可行的。经济学家Erik Brynjolfsson向我提出的一个反驳观点是，大型公司（如沃尔玛或优步）开始拥有足够的中心化知识，能比任何去中心化过程更好地理解消费者，这可能迫使我们修改哈耶克关于谁拥有最佳本地知识的见解。[24]感谢Kevin Esvelt提出这一观点。[25]例如，手机最初是富人的技术，但很快变得非常便宜，逐年改进速度之快使得购买"奢侈"手机的任何优势都变得无关紧要，如今大多数人拥有类似质量的手机。[26]这是RAND即将发表的一篇论文的标题，大致阐述了我所描述的策略。[27]当普通人想到公共机构时，他们可能会想到自己在机动车管理局、国税局、医疗保险或类似机构的体验。让这些体验变得好些，似乎是对抗犬儒主义的有力方式。[28]事实上，在AI驱动的世界中，此类可能的挑战和项目范围将比今天广泛得多。
[29] 我正在打破自己不谈科幻的规则，但我发现一点都不提及科幻，很困难。科幻小说是我们关于未来广泛思想实验的有限来源之一；我认为它深深纠缠于一个特定狭窄的亚文化中，这不太好。
～完～
感谢阅读，欢迎转发、点赞👍和推荐❤️，谢谢！
