子川投资笔记微信公众号：“新知”栏目，关注AI、脑与认知、哲学与艺术、前沿科技等领域，力图提供最新和最好的外刊文章中译版；“经典”栏目，持续更新“巴菲特致股东信”精译及评注系列；“维特根斯坦”哲学系列；“洞见”栏目：分享关于技术进步、AI哲学与伦理、投资哲学的深度思考。



译者注：

本文为Google首次发布的系统性论述AI伦理领域论文的导读文章。具有开创性意义，首次全面探讨了先进AI助手在社会部署中的伦理问题。

论文的核心在于描绘了一个由多重主体构成的未来信息生态：先进AI、一般AI、一般智慧机器、人类用户、其他非用户人类。这些主体将在我们已构建的数字生态中迅速生根发芽，并以指数级别增长。如果缺乏审慎的规划和设想，可能引发系统性风险：一方面是现有 IT 基础设施的负载崩溃，另一方面是人类社会层面的舆情失控和集体认知紊乱。

在这个新的生态中，论文特别强调了两个关键维度：

价值观对齐：AI 助手面临的是一个多层次的价值观体系。这不仅是技术层面的对齐问题，更涉及深层的伦理和社会议题。困难的是，当下，人类本身的价值观都处在剧烈分化与重构时期。AI 需要在个体用户的偏好、非用户受众的偏好、企业的商业伦理、地区文化传统、国家法律法规等多重价值诉求中寻找平衡点。这种复杂且不断演变的价值观网络，使得 AI 的决策和行为准则设定变得极具挑战性。

交互模式：以自然语言为主的人机交互方式，需要在效率和伦理之间找到平衡点。这里存在两难困境：如果 AI 完全采用人类语言，可能会通过拟人化表达误导或污染人类思考；但如果 AI之间 发展出人类难以理解的机器语言，又可能导致人机交互的鸿沟，使两者走向背离。这种语言交互的困境，直接关系到人机协作的未来走向。

原文链接：https://deepmind.google/discover/blog/the-ethics-of-advanced-ai-assistants/
发布时间：2024年4月19日
作者：Iason Gabriel和Arianna Manzini

译文：

先进AI助手的伦理问题


探索更强AI带来的未来前景与风险

设想这样一个未来：我们将经常与各种先进人工智能（AI）助手互动，而且数以百万计的AI助手会代表我们作相互交流。这些体验和互动可能很快就会成为我们日常生活的一部分。

通用基础模型正在为越来越先进的AI助手铺平道路。这些AI助手能够根据人们的目标，规划和执行各种任务。AI可以作为创意伙伴、研究分析师、教育导师、生活规划师等多重角色，为人们的生活和社会带来巨大价值。

它们还可能开启人类与AI互动的新阶段。这就是为什么我们需要主动思考这个世界会是什么样子，并提前帮助引导负责任的决策和有益的成果。

我们的新论文首次系统性探讨了先进AI助手为用户、开发者和社会带来的伦理和社会问题，并对这项技术的潜在影响提供了重要新见解。
https://arxiv.org/abs/2404.16244

我们涵盖了价值观对齐、安全与滥用、经济影响、环境影响、信息领域、机会获取等多个主题。

这是我们迄今为止最大规模的伦理前瞻项目之一。我们汇集了各领域专家，研究并绘制了未来AI助手世界的新技术和道德版图，描绘了社会可能面临的机遇和风险。以下是我们的一些关键发现。

对用户和社会的深远影响

AI助手在研究、教育、创意任务和规划方面的潜在影响示意图。

先进AI助手可能对用户和社会产生深远影响，并融入人们生活的大多数方面。例如，人们可能会要求它们预订假期、管理社交时间或执行其他生活任务。如果大规模部署，AI助手可能会影响人们处理工作、教育、创意项目、兴趣爱好和社交互动的方式。

随着时间推移，AI助手可能会通过其提供的信息、建议和行动，影响人们追求的目标和个人发展路径。这最终引发了一个重要问题：人们应该如何与这项技术互动，它又如何才能最好地支持人们自己的目标和愿望。

对齐人类价值观至关重要

示意图展示AI助手应该能够理解人类的偏好和价值观。

AI助手很可能在多个领域拥有相当程度的自主权来规划和执行一系列任务。正因如此，AI助手在安全性、一致性和滥用方面带来了新的挑战。

更大的自主权意味着更大的风险：指令不明确或被误解可能导致事故，AI助手的行为可能与用户的价值观和利益不符。

更自主的AI助手可能还会带来产生巨大影响力的滥用风险，比如传播虚假信息或发动网络攻击。为应对这些潜在风险，我们认为必须对AI技术设置限制，确保先进AI助手的价值观更好地与人类价值观保持一致，并与更广泛的社会理念和标准相容。

自然语言交流

AI助手与人类，应该以人的方式交流

能够流畅使用自然语言交流的先进AI助手，其书面输出和语音可能变得难以与人类区分。

这一发展引发了一系列复杂问题，涉及信任、隐私、拟人化以及人与AI的适当关系：我们如何确保人类用户能可靠地识别AI助手并控制自己与它们的互动？如何确保用户不会随时间推移受到不当影响或误导？

需要建立包括隐私在内的各种保护措施来应对这些风险。重要的是，人与AI助手的关系必须保护人类用户的自主权，支持人类发展自身能力，而不是造成情感依赖或物质依赖。

合作与协调以满足人类偏好

AI助手与人之间的互动将产生不同网络效应的示意图。

当这项技术广泛普及并大规模部署时，先进的AI助手将需要与其他AI互动，也需要平等的与AI使用者，以及间接接触到AI的普通大众产生互动。

例如，数千个AI助手可能同时试图为各自用户预订同一项服务——这可能导致系统崩溃。在理想情况下，这些AI助手应该代表人类用户与相关服务提供商进行协调，找到更好地满足不同人偏好和需求的共同点。

考虑到这项技术可能变得如此有用，确保没有人类被排除在外也很重要。AI助手应该广泛可及，并在设计时考虑不同用户和非用户的需求。

需要更多评估和前瞻性研究

多层面评估对理解AI助手很重要的示意图。

AI助手可能展现难以预见的新能力，以新方式使用工具，这使得预测其部署风险变得困难。为帮助管理此类风险，我们需要开展基于全面测试和评估的前瞻性实践。

我们之前关于评估生成式AI在社会和伦理风险的研究发现了传统模型评估方法中的一些不足，我们鼓励在这一领域开展更多研究。
https://deepmind.google/discover/blog/evaluating-social-and-ethical-risks-from-generative-ai/

例如，全面评估人机交互效果以及对社会的更广泛影响，可以帮助研究人员理解AI助手如何作为更广泛网络的一部分与用户、非用户和社会互动。反过来，这些见解可以为更好的风险缓解和负责任的决策提供参考。

构建我们想要的未来

我们可能正面临由先进AI助手发引发的新一轮技术和社会变革。我们今天作为研究人员、开发者、政策制定者和公众成员所做的选择，将指导这项技术的发展方向及其在社会中的部署方式。

我们希望这篇论文能为进一步协调与合作抛砖引玉，共同塑造我们都希望看到的有益AI助手。

阅读我们的论文
https://arxiv.org/abs/2404.16244

论文作者：Iason Gabriel、Arianna Manzini、Geoff Keeling、Lisa Anne Hendricks、Verena Rieser、Hasan Iqbal、Nenad Tomašev、Ira Ktena、Zachary Kenton、Mikel Rodriguez、Seliem El-Sayed、Sasha Brown、Canfer Akbulut、Andrew Trask、Edward Hughes、A. Stevie Bergman、Renee Shelby、Nahema Marchal、Conor Griffin、Juan Mateos-Garcia、Laura Weidinger、Winnie Street、Benjamin Lange、Alex Ingerman、Alison Lentz、Reed Enger、Andrew Barakat、Victoria Krakovna、John Oliver Siy、Zeb Kurth-Nelson、Amanda McCroskery、Vijay Bolina、Harry Law、Murray Shanahan、Lize Alberts、Borja Balle、Sarah de Haas、Yetunde Ibitoye、Allan Dafoe、Beth Goldberg、Sébastien Krier、Alexander Reese、Sims Witherspoon、Will Hawkins、Maribeth Rauh、Don Wallace、Matija Franklin、Josh A. Goldstein、Joel Lehman、Michael Klenk、Shannon Vallor、Courtney Biles、Meredith Ringel Morris、Helen King、Blaise Agüera y Arcas、William Isaac和James Manyika。


～完～


感谢阅读，麻烦点个👍和❤️，谢谢！



‍