雷和我都是乔治·吉尔德电信会议的演讲者，在我们的演讲环节结束后，我偶然在酒店酒吧遇见了他。当时我正和约翰·塞尔坐在一起，他是一位研究意识的伯克利哲学家。在我们交谈时，雷走过来加入了谈话，这次谈话的主题至今仍困扰着我。我错过了雷的演讲和他与约翰参加的随后的专题讨论，他们现在继续着之前的讨论。雷说技术进步的速度将会加快，我们将会变成机器人或与机器人融合之类的事情，而约翰则反驳说这是不可能的，因为机器人不可能有意识。虽然我以前听过这样的说法，但我一直认为有知觉的机器人属于科幻小说的范畴。但现在，从一个我尊敬的人那里，我听到了一个强有力的论证，说明这是一种近期的可能性。我感到震惊，特别是考虑到雷在想象和创造未来方面的卓越能力。我已经知道像基因工程和纳米技术这样的新技术正在赋予我们重塑世界的力量，但智能机器人的现实和迫在眉睫的场景让我感到惊讶。对这样的突破很容易产生倦怠感。我们几乎每天都能在新闻中听到某种技术或科学进步。但这并非普通的预测。在酒店酒吧，雷给了我一份他即将出版的书《灵性机器的时代》的部分预印本，书中描绘了他预见的乌托邦——人类通过与机器人技术融为一体而获得近乎永生。读完后，我的不安感只是加剧了；我确信他一定低估了危险，低估了这条道路上出现糟糕结果的可能性。首先让我们假设计算机科学家成功开发出了具有智能的机器。这些机器能比人类更好地完成所有工作。在这种情况下，所有工作可能都将由庞大、高度组织化的机器系统完成，不再需要人类的努力。可能会出现两种情况：要么允许机器在没有人类监督的情况下自主做出所有决定，要么保持人类对机器的控制。如果允许机器自主做出所有决定，我们无法推测结果会如何，因为我们不可能猜测这样的机器会如何表现。我们只能指出，人类的命运将完全掌握在机器手中。有人可能会说人类永远不会愚蠢到将所有权力都交给机器。但我们既不是在说人类会主动将权力交给机器，也不是说机器会主动夺取权力。我们的观点是，人类社会很可能会逐渐陷入对机器的依赖，以至于最终别无选择，只能接受机器的所有决定。随着社会和面临的问题变得越来越复杂，机器变得越来越智能，人们会让机器做出越来越多的决定，因为机器做出的决定会比人为决定带来更好的结果。最终可能会达到这样一个阶段：维持系统运转所需的决策变得如此复杂，以至于人类无法做出明智的决定。在那个阶段，机器将实际掌控一切。人们将无法关闭机器，因为他们对机器的依赖程度已经如此之深，关闭机器就等同于自杀。另一方面，人类也可能保持对机器的控制。在这种情况下，普通人可能可以控制自己的私人机器，如汽车或个人电脑，但对大型机器系统的控制权将掌握在一小群精英手中——就像今天一样，但有两点不同。由于技术的进步，精英们将拥有更大的控制权；而且由于人类劳动将不再必要，普通大众将成为系统的无用负担。如果这些精英们铁石心肠，他们可能会简单地决定消灭大部分人类。如果他们富有人性，他们可能会使用宣传或其他心理或生物技术来降低出生率，直到大众逐渐消亡，将世界留给精英们。或者，如果精英们是善心的自由主义者，他们可能会选择扮演人类其他成员的好牧羊人角色。他们会确保每个人的物质需求得到满足，所有孩子都在心理卫生的条件下成长，每个人都有健康的爱好来保持忙碌，任何可能感到不满的人都会接受"治疗"来治愈他的"问题"。当然，生活将变得如此无意义，以至于人们必须经过生物或心理工程来消除他们对权力过程的需求，或者将他们对权力的追求"升华"为某种无害的爱好。这些经过工程改造的人类在这样的社会中可能会感到快乐，但他们肯定不会是自由的。他们将被降格为家畜的地位。库兹韦尔引用的段落来自卡钦斯基的"邮包炸弹客宣言"，这份宣言是在压力下由《纽约时报》和《华盛顿邮报》联合发表的，目的是试图结束他的恐怖行动。我同意大卫·盖伦特关于他们决定的看法："这对报社来说是一个艰难的抉择。同意发表就等于向恐怖主义屈服，而且就他们所知，他可能完全在撒谎。另一方面，同意发表可能会停止杀戮。还有一种可能是有人读到这篇文章后会对作者有所察觉；事实上正是这样发生的。嫌疑人的兄弟读到后，觉得很熟悉。""如果他们问我的话，我会建议他们不要发表。我很庆幸他们没有问我吧，我想。"（引自《描绘人生：幸存于邮包炸弹客》，自由出版社，1997年：第120页。）在这本书中，直到你翻到下一页才会发现这段文字的作者是西奥多·卡钦斯基——那位邮包炸弹客。我并非为卡钦斯基辩护。在他17年的恐怖活动中，他的炸弹杀死了三个人，伤害了许多其他人。其中一枚炸弹严重伤害了我的朋友大卫·盖伦特，他是我们这个时代最杰出和富有远见的计算机科学家之一。像我的许多同事一样，我感觉我很容易成为邮包炸弹客的下一个目标。卡钦斯基的行为是谋杀性的，在我看来是犯罪性的疯狂。他显然是个卢德分子，但仅仅这样说并不能否定他的论点；尽管我很难承认，但我在这段文字的推理中看到了一些价值。我觉得有必要面对它。卡钦斯基的反乌托邦愿景描述了意想不到的后果，这是技术设计和使用中一个众所周知的问题，它明显与墨菲定律有关——"任何可能出错的事情，都会出错。"（实际上，这是菲纳格尔定律，这本身就证明菲纳格尔是对的。）我们过度使用抗生素导致了可能是迄今为止最大的此类问题：出现了抗药性细菌和更多危险的细菌。类似的情况也发生在使用DDT消灭疟蚊时，导致它们获得了对DDT的抗性；疟疾寄生虫同样获得了多重耐药性基因。（原文注释2:加勒特，劳里。《即将到来的瘟疫：在失衡世界中新出现的疾病》。企鹅出版社，1994年：47-52，414，419，452页。）造成许多此类意外的原因似乎很清楚：涉及的系统很复杂，包含多个部分之间的相互作用和反馈。对这样一个系统的任何改变都会以难以预测的方式产生连锁反应；当涉及人类行为时，这一点尤其正确。我开始向朋友们展示《灵性机器的时代》中卡钦斯基的引文；我会把库兹韦尔的书递给他们，让他们读这段引文，然后观察他们发现作者身份时的反应。大约在同一时期，我发现了汉斯·莫拉维克的《机器人：从简单机器到超越心智》一书。莫拉维克是机器人研究领域的领军人物之一，也是世界最大的机器人研究项目——卡内基梅隆大学机器人研究项目的创始人之一。这本书给了我更多可以和朋友们讨论的材料——令人惊讶的是，这些材料支持了卡钦斯基的论点。例如：生物物种几乎从未在与优势竞争者的遭遇中存活下来。一千万年前，南北美洲被巴拿马地峡分隔，南美洲像今天的澳大利亚一样，栖息着有袋类哺乳动物，包括类似老鼠、鹿和虎的有袋动物。当连接南北美洲的地峡升起时，北方的胎盘类动物仅用了几千年就凭借略微更有效的新陈代谢系统、生殖系统和神经系统，取代并消灭了几乎所有南方的有袋类动物。在一个完全自由的市场中，优势机器人必然会像北美洲的胎盘类动物影响南美洲的有袋类动物那样影响人类（就像人类已经影响了无数物种一样）。机器人产业会在物质、能源和空间方面激烈竞争，无意中将价格推高到人类无法承受的程度。无法负担生活必需品的生物人类将被挤出生存空间。可能还有一些喘息的空间，因为我们并不生活在一个完全自由的市场中。政府通过征税等方式强制实施非市场行为。如果明智地运用，政府的强制力可能会让人类群体依靠机器人劳动的成果过上优质生活，也许能维持相当长一段时间。这是一个教科书式的反乌托邦场景——而莫拉维克才刚刚开始。他接着讨论我们在21世纪的主要工作将是"通过制定法律确保机器人产业继续合作"，要求它们"友善"，并描述一个人类一旦"转变为无边界的超智能机器人"会有多么危险。莫拉维克的观点是机器人最终会取代我们——人类显然面临着灭绝。（原文注释3:艾萨克·阿西莫夫在1950年的《我，机器人》中描述了最著名的机器人行为伦理规则，即他的机器人三定律：1. 机器人不得伤害人类，或因不作为而使人类受到伤害。2. 机器人必须服从人类的命令，除非这些命令与第一定律相冲突。3. 机器人必须保护自己的存在，只要这种保护不与第一或第二定律相冲突。）我决定是时候和我的朋友丹尼·希利斯谈谈了。丹尼因为是思维机器公司的联合创始人而闻名，该公司制造了一台非常强大的并行超级计算机。尽管我现在在太阳微系统公司的职位是首席科学家，但我更像是一个计算机架构师而不是科学家，我尊重丹尼对信息和物理科学的了解，这种了解超过我认识的任何其他人。丹尼也是一位备受推崇的未来学家，他长期思考这些问题——四年前他创立了"长远基金会"，正在建造一个设计寿命为10,000年的时钟，试图唤起人们对我们社会可悲的短视行为的关注。（参见《连线》杂志2003年第8期第78页的"时间的考验"一文。）（译者注：Thinking Machines Corporation 成立于 1983 年，现已倒闭。该公司由 Danny Hillis 等人创立，以建造强大的并行超级计算机而闻名，其域名think.com是第三个.com 域名。公司曾有过几年的盈利期，但最终在 10 多年后申请破产，Sun Microsystems 收购了其硬件和并行计算业务。）于是我飞到洛杉矶，专程与丹尼和他的妻子帕蒂共进晚餐。我按照现在已经熟悉的程序，列举出那些我觉得令人不安的想法和段落。丹尼对库兹韦尔关于人类与机器人融合的设想的回答来得很快，而且让我很惊讶。他简单地说，这些变化会逐渐发生，我们会习惯它们。但我想我并不是完全感到惊讶。我在库兹韦尔的书中看到过丹尼的一句话："我和任何人一样喜欢我的身体，但如果我能用硅基身体活到200岁，我会接受的。"看来他对这个过程及其附带的风险已经安然接受，而我却不能。在谈论和思考库兹韦尔、卡钦斯基和莫拉维克的观点时，我突然想起了近20年前读过的一本小说——弗兰克·赫伯特的《白色瘟疫》。小说中一位分子生物学家因家人被无谓杀害而发疯。为了复仇，他构建并传播了一种新型高传染性瘟疫，这种瘟疫只杀死白人。（我们很幸运卡钦斯基是个数学家，而不是分子生物学家。）这也让我想起了《星际迷航》中的博格人，一个部分生物、部分机器人的物种，具有强烈的破坏倾向。类似博格人的灾难是科幻小说的常见主题，那么为什么我以前没有对这种机器人威胁更加担忧呢？为什么其他人没有对这些噩梦般的场景表现出更多担忧？部分答案肯定在于我们对新事物的态度——我们对即时熟悉和不加质疑接受的偏好。习惯于几乎例行公事般的科学突破，我们还没有认识到一个事实：最具影响力的21世纪技术——机器人技术、基因工程和纳米技术——带来了与以往技术不同的威胁。具体来说，机器人、工程生物体和纳米机器人共同具有一个危险的放大因素：它们能够自我复制。炸弹只能爆炸一次，但一个机器人可以变成很多个，并迅速失控。在过去25年里，我的大部分工作都集中在计算机网络领域，在这里消息的发送和接收为失控复制创造了机会。但是虽然计算机或计算机网络中的复制最多只是一个麻烦，最坏的情况也只是使机器瘫痪或导致网络或网络服务瘫痪。而在这些新技术中，不受控制的自我复制带来了更大的风险：可能对物理世界造成实质性的破坏。这些技术也都带来了无限的希望：库兹韦尔在他的机器人梦想中看到的近乎永生的愿景推动着我们前进；基因工程可能很快就能为大多数疾病提供治疗方法（如果不是完全治愈的话）；纳米技术和纳米医学可以解决更多的疾病。它们共同可以显著延长我们的平均寿命，提高我们的生活质量。然而，对于这些技术中的每一个，一系列看似合理的小进步会导致巨大力量的积累，随之而来的是巨大的危险。20世纪有什么不同？当然，大规模杀伤性武器（WMD）的基础技术——核武器、生物武器和化学武器（NBC）——都很强大，这些武器构成了巨大的威胁。但是制造核武器至少在一段时间内需要获得稀有的——实际上是有效不可得的——原材料和高度保密的信息；生物和化学武器项目也往往需要大规模的活动。21世纪的技术——基因技术、纳米技术和机器人技术（GNR）——如此强大，以至于它们可能催生出全新类型的事故和滥用。最危险的是，这些事故和滥用首次完全在个人或小团体的能力范围之内。它们不需要大型设施或稀有原材料。仅仅知识本身就足以使用它们。因此，我们面临的不仅仅是大规模杀伤性武器的威胁，还有基于知识的大规模杀伤（KMD），这种破坏性通过自我复制的力量被极大地放大。我认为说我们正处在极端邪恶进一步完善的风口浪尖并不夸张，这种邪恶的可能性远远超出了大规模杀伤性武器赋予民族国家的能力，延伸到令人惊讶和可怕的赋予极端个人的能力。我接触计算机的经历中没有任何迹象表明我将面临这些问题。我的生活一直被一种深深的渴望所驱使——提出问题并寻找答案。3岁时我就开始阅读，于是父亲带我去小学，我坐在校长的膝上给他读故事。我很早就开始上学，后来跳级，沉浸在书籍中——我有着极强的学习动力。我问了很多问题，经常让成年人分心。作为一个青少年，我对科学和技术非常感兴趣。我想成为一名业余无线电操作员，但没有钱买设备。业余无线电是那个时代的互联网：非常令人着迷，而且相当孤独。由于经济问题，我母亲坚决反对——我已经够反社会了。虽然我可能没有很多亲密的朋友，但我沉浸在思想中。到了高中，我发现了伟大的科幻小说作家。我特别记得海因莱因的《太空服行走》和阿西莫夫的《我，机器人》及其机器人学三定律。我被太空旅行的描述迷住了，想要一台望远镜来观察星星；因为没有钱买或制造一台望远镜，我就从图书馆借来制作望远镜的书籍阅读。我在想象中翱翔。每周四晚上我父母去打保龄球，我们孩子们独自在家。那是吉恩·罗登伯里原版《星际迷航》播出的时间，这个节目给我留下了深刻的印象。我开始接受它的理念，即人类在太空中拥有一个西部风格的未来，有伟大的英雄和冒险。罗登伯里对未来几个世纪的愿景包含了强烈的道德价值观，体现在像"主要指令"这样的准则中：不干预技术落后文明的发展。这对我有着难以置信的吸引力；在这个未来中，占主导地位的是有道德的人类，而不是机器人，我将罗登伯里的梦想融入了自己的梦想中。我在高中数学方面表现出色，当我作为本科工程系学生进入密歇根大学时，我选修了数学专业的高级课程。解决问题是一个令人兴奋的挑战，但当我发现计算机时，我找到了更有趣的东西：一台可以输入程序来尝试解决问题的机器，之后机器会快速检查解决方案。计算机对正确和错误、真和假有明确的概念。我的想法正确吗？机器可以告诉我。这非常具有诱惑力。我很幸运地早早就得到了一份编程超级计算机的工作，发现了大型机器在数值模拟高级设计方面的惊人能力。1970年代中期，当我去加州大学伯克利分校读研究生时，我开始熬夜，整晚地在机器中创造新的世界。解决问题。编写那些强烈要求被写出来的代码。在《痛苦与狂喜》，欧文·斯通的米开朗基罗传记小说中，生动地描述了米开朗基罗如何从石头中释放雕像，"打破大理石的外壳"，将他脑海中的形象释放出来。【4】在我最狂喜的时刻，计算机中的软件以同样的方式呈现。一旦我在脑海中想象出来，我就感觉它已经存在于机器中，等待被释放。熬夜似乎是一个小小的代价，可以将这些想法释放出来——赋予它们具体的形式。Stone描述这个过程："他不是根据图纸或泥塑模型工作；这些都已被收起来。他是根据心中的图像在雕刻，他的眼睛和双手知道每一条线条、曲线必须在哪里出现，知道在石头心脏的什么深度创造浅浮雕。"（《痛苦与狂喜》，双日出版社，1961年：6，144页））在伯克利待了几年后，我开始向其他拥有类似的小型PDP-11和VAX微型计算机的人分享我写的一些软件——一个教学用的Pascal系统、Unix实用程序，以及一个叫做vi的文本编辑器（令我惊讶的是，20多年后仍被广泛使用）。这些软件冒险最终发展成为伯克利版本的Unix操作系统，这成了一个个人的"成功灾难"——太多人想要它，以至于我从未完成博士学位。相反，我得到了一份工作，在DARPA的支持下将伯克利Unix放到互联网上，并使其可靠且能够很好地运行大型研究应用程序。这一切都非常有趣且富有成就感。说实话，我在这里或附近都没有看到机器人的影子。然而，到了1980年代初，我感到不堪重负。Unix发行版非常成功，我的小项目很快有了资金和一些员工，但伯克利的问题一直是办公空间而不是资金——没有足够的空间容纳项目所需的帮助，所以当Sun微系统公司的其他创始人出现并邀请我加入时，我抓住了这个机会。在Sun公司，漫长的工作时间持续到工作站和个人电脑时代的早期，我很高兴参与创造先进的微处理器技术和像Java和Jini这样的互联网技术。从这一切中，我相信很明显我不是卢德分子，相反，我一直强烈相信科学探索真理的价值，以及伟大工程带来物质进步的能力。工业革命在过去几百年里极大地改善了每个人的生活，我一直期望我的职业生涯能够参与为实际问题构建有价值的解决方案，一次解决一个问题。我并没有感到失望。我的工作产生的影响超出了我的期望，使用范围也比我合理预期的要广。在过去20年里，我一直在努力研究如何使计算机达到我期望的可靠性（它们还没有达到）以及如何使它们易于使用（这个目标的实现程度甚至更低）。尽管取得了一些进展，但剩下的问题似乎更加令人生畏。但是，虽然我意识到技术在武器研究等领域带来的道德困境，但我没有预料到会在自己的领域遇到这样的问题，至少不会这么快。也许当你处在变革的漩涡中时，总是很难看清更大的影响。在发现和创新的狂喜中未能理解我们发明的后果，似乎是科学家和技术专家的一个普遍缺陷；我们长期以来一直被认识科学本质的压倒性欲望所驱使，没有注意到向更强大技术的进步可能会开始有自己的生命。我早就意识到信息技术的重大进步不是来自计算机科学家、计算机架构师或电气工程师的工作，而是来自物理科学家的工作。物理学家斯蒂芬·沃尔夫拉姆和布罗斯尔·哈斯拉赫在1980年代初向我介绍了混沌理论和非线性系统。在1990年代，我从与丹尼·希利斯、生物学家斯图尔特·考夫曼、诺贝尔物理学奖获得者默里·盖尔曼等人的对话中学习了复杂系统。最近，哈斯拉赫和电气工程师兼器件物理学家马克·里德让我深入了解了分子电子学的惊人可能性。在我自己的工作中，作为三种微处理器架构（SPARC、picoJava和MAJC）的共同设计者以及它们的多个实现版本的设计者，我对摩尔定律有着深入的第一手了解。几十年来，摩尔定律准确预测了半导体技术的指数级进步速度。直到去年我还相信摩尔定律预测的进步速度可能会持续到2010年左右，那时才会开始达到一些物理极限。我没有意识到新技术会及时到来以保持性能的平稳提升。但是由于最近在分子电子学（用单个原子和分子替代光刻绘制的晶体管）和相关纳米级技术方面的快速和根本性进展，我们应该能够在未来30年内达到或超过摩尔定律的进步速度。到2030年，我们很可能能够批量制造出比今天的个人电脑强大一百万倍的机器——足以实现库兹韦尔和莫拉维克的梦想。随着这种巨大的计算能力与物理科学的操控进步和遗传学的新深入理解相结合，正在释放出巨大的变革力量。这些组合为完全重新设计世界开辟了机会，无论是好是坏：那些一直局限于自然界的复制和进化过程即将成为人类努力的领域。在设计软件和微处理器时，我从未感觉自己在设计一个智能机器。软件和硬件如此脆弱，机器"思考"的能力如此明显缺乏，即使作为一种可能性，这似乎也总是遥不可及的未来。但现在，随着在大约30年内实现人类级别计算能力的前景，一个新的想法浮现出来：我可能正在创造工具，这些工具将使构建可能取代我们物种的技术成为可能。我对此感觉如何？非常不舒服。在整个职业生涯中努力构建可靠的软件系统后，我觉得这个未来很可能不会像某些人想象的那样顺利。我的个人经验表明，我们往往高估了我们的设计能力。考虑到这些新技术的惊人力量，我们不应该问如何最好地与它们共存吗？如果我们自己的灭绝是技术发展的一个可能或甚至可能的结果，我们不应该格外谨慎地前进吗？机器人技术的梦想首先是智能机器可以为我们工作，让我们过上休闲的生活，使我们重返伊甸园。然而在乔治·戴森的这类思想史著作《机器中的达尔文》中，他警告说："在生命和进化的游戏中，桌前有三个玩家：人类、自然和机器。我坚定地站在自然这一边。但我怀疑，自然站在机器这一边。"正如我们所见，莫拉维克也同意这一观点，认为我们很可能无法在与优势机器物种的遭遇中存活。这样的智能机器人何时能被制造出来？计算能力的即将到来的进步似乎使2030年成为可能。而一旦智能机器人存在，从那里到一个能制造进化版本复制品的机器人物种，只是一小步之遥。机器人技术的第二个梦想是我们将通过下载意识到机器技术中逐渐取代自己，实现近乎永生；这正是丹尼·希利斯认为我们会逐渐适应的过程，雷·库兹韦尔在《灵性机器的时代》中优雅地详述了这一点。（我们开始在人体植入计算机设备中看到这方面的迹象，正如《连线》杂志8.02期封面所示。）但如果我们被下载到我们创造的技术中，我们之后还会是自己或者说是人类吗？在我看来，机器人的存在方式不太可能以任何意义上类似于人类生活，机器人也不会以任何意义上成为我们的孩子，在这条道路上我们的人性很可能会丧失。基因工程承诺通过提高作物产量同时减少农药使用来彻底改变农业；创造成千上万种新的细菌、植物、病毒和动物；用克隆来替代或补充繁殖；为许多疾病创造治疗方法，延长我们的寿命并提高生活质量；还有更多更多。我们现在可以确定，生物科学即将发生深刻变革，这将挑战我们对生命本质的所有认知。人类克隆等技术特别提高了我们对所面临的深刻伦理和道德问题的认识。例如，如果我们利用基因工程的力量将自己重新设计成几个不同且不平等的物种，那么我们将威胁到作为民主基石的平等观念。考虑到基因工程的惊人力量，它的使用存在重大安全问题并不奇怪。我的朋友阿莫里·洛文斯最近与亨特·洛文斯合写了一篇社论，从生态学角度看待其中的一些危险。他们担心"新植物学将植物的发展与它们的经济成功而非进化成功联系起来。"（参见"两种植物学的故事"，第247页）阿莫里的职业生涯一直专注于通过对人造系统采取整体系统观点来提高能源和资源效率；这种整体系统观点经常能为看似困难的问题找到简单、智能的解决方案，在这里也很有用。读完洛文斯的社论后，我看到格雷格·伊斯特布鲁克在《纽约时报》（1999年11月19日）上发表的一篇评论文章，标题是"未来的食物：总有一天，大米将内置维生素A。除非卢德分子获胜。"阿莫里和亨特·洛文斯是卢德分子吗？当然不是。我相信我们都会同意，如果在适当关注和尊重跨物种基因转移可能带来的危险的情况下开发，具有内置维生素A的黄金大米可能是一件好事。正如洛文斯的社论所反映的，人们开始意识到基因工程固有的危险。公众意识到并对转基因食品感到不安，似乎在拒绝允许此类食品不加标签的想法。但基因工程技术已经发展得很远了。正如洛文斯指出的，美国农业部已经批准了约50种转基因作物的无限制释放；世界上超过一半的大豆和三分之一的玉米现在含有从其他生命形式中拼接而来的基因。虽然这里有许多重要问题，但我对基因工程的主要担忧更为具体：它提供了力量——无论是通过军事手段、意外事故还是蓄意的恐怖主义行为——来制造一场白色瘟疫。
纳米技术的诸多奇迹最初是由诺贝尔物理学奖获得者理查德·费曼在1959年的一次演讲中构想的，该演讲后来以"底部还有很大空间"为题出版。在80年代中期给我留下深刻印象的是埃里克·德雷克斯勒的《创造的引擎》，他在书中优美地描述了如何在原子层面操纵物质，这可以创造一个乌托邦式的富足未来，几乎所有东西都可以廉价制造，几乎任何可以想象的疾病或物理问题都可以用纳米技术和人工智能来解决。
在德雷克斯勒共同撰写的后续著作《解放未来：纳米技术革命》中，设想了在一个拥有分子级"组装器"的世界中可能发生的一些变化。这些组装器可以实现令人难以置信的低成本太阳能、癌症和普通感冒的治疗方法（通过增强人类免疫系统）、彻底清理环境、令人难以置信的廉价掌上超级计算机——实际上，任何产品的制造成本都不会超过木材——比现今的跨洋旅行更容易实现的太空旅行，以及已灭绝物种的复活。
我记得读完《创造的引擎》后对纳米技术感觉良好。作为一个技术专家，它给了我一种平静感——也就是说，纳米技术向我们展示了惊人的进步是可能的，甚至可能是不可避免的。如果纳米技术是我们的未来，那么我就不用感到被迫要在当下解决这么多问题。我会在适当的时候到达德雷克斯勒的乌托邦未来；我不妨更多地享受当下。根据他的愿景，没必要一直熬夜工作。
德雷克斯勒的愿景也带来了很多有趣的事。我偶尔会向那些没听说过纳米技术的人描述它的奇迹。在用德雷克斯勒描述的所有事物戏弄他们之后，我会布置一个我自己的家庭作业："用纳米技术创造一个吸血鬼；额外加分的话，创造一个解药。"
这些奇迹伴随着明显的危险，我对此非常清楚。正如我在1989年的一次纳米技术会议上所说："我们不能简单地做科学而不去担心这些伦理问题。"但我后来与物理学家的对话让我确信，纳米技术可能根本不会实现——或者至少，在短期内不会实现。此后不久，我搬到了科罗拉多州的一个秘密实验室，我的工作重点转向了互联网软件，特别是后来成为Java和Jini的想法。
（原文注释5:1989年10月第一届前瞻纳米技术会议上的演讲"计算的未来"。发表于Crandall, B. C.和James Lewis编辑的《纳米技术：研究与展望》。MIT出版社，1992年：269页。另见www.foresight.org/Conferences/MNT01/Nano1.html。）
然后，去年夏天，布罗斯尔·哈斯拉赫告诉我纳米尺度的分子电子学现在已经变得可行。这对我来说是新消息，我想对很多人来说也是——它从根本上改变了我对纳米技术的看法。这让我回到了《创造的引擎》。重读德雷克斯勒的作品超过10年后，我惊讶地发现我对其中名为"危险与希望"的长篇章节记得如此之少，包括关于纳米技术如何成为"毁灭引擎"的讨论。事实上，在今天重读这些警示性材料时，我惊讶地发现德雷克斯勒的一些防范建议看起来是多么天真，而且我判断现在的危险比他当时看起来要大得多。（在预见并描述了纳米技术的许多技术和政治问题后，德雷克斯勒在1980年代末创立了远见研究所，"帮助社会为预期的先进技术做准备"——最重要的是纳米技术。）
在未来20年内，实现组装器的突破似乎相当可能。分子电子学——纳米技术的新分支，其中单个分子作为电路元件——应该会在这十年内迅速发展并变得极其有利可图，引发对所有纳米技术的大量增量投资。
不幸的是，与核技术一样，为纳米技术创造破坏性用途比创造建设性用途要容易得多。纳米技术有明显的军事和恐怖主义用途，而且你不需要自杀就能释放具有大规模破坏性的纳米技术装置——这些装置可以被制造成选择性破坏，例如，只影响特定地理区域或基因特征不同的人群。
在获得纳米技术巨大力量的浮士德式交易中，一个直接的后果是我们面临着严重的风险——可能摧毁所有生命赖以生存的生物圈的风险。
"植物"带有"叶子"，其效率不比今天的太阳能电池高，但可能会与真实植物竞争，用不可食用的叶子挤满生物圈。坚韧的杂食"细菌"可能会与真实细菌竞争：它们可能像花粉一样随风传播，迅速复制，在几天内将生物圈化为尘埃。危险的复制器可能会变得过于坚韧、微小和传播迅速而无法阻止——至少如果我们不做任何准备的话。我们在控制病毒和果蝇方面已经够困难的了。在纳米技术的有识之士中，这种威胁被称为"灰色粘液问题"。虽然失控的复制器团块不一定是灰色或粘稠的，但"灰色粘液"这个词强调了能够消灭生命的复制器可能比一种蟋蟀更乏味。从进化的角度来看，它们可能更优越，但这并不意味着它们有价值。灰色粘液威胁使一件事变得非常清楚：我们无法承受某些类型的复制组装器事故。灰色粘液无疑会给人类在地球上的冒险带来一个令人沮丧的结局，比单纯的火灾或冰灾要糟糕得多，而且这可能源于一个简单的实验室事故。哎呀。（原文注释6:在1963年的小说《猫的摇篮》中，库尔特·冯内古特想象了一场类似灰色粘液的事故，其中一种叫做冰-9的冰，在更高温度下会变成固体，冻结海洋。）在基因工程、纳米技术和机器人技术（GNR）中，最应该让我们警惕的是具有破坏性自我复制的力量。自我复制是基因工程的操作模式，它利用细胞复制其设计，也是纳米技术中灰色粘液的主要潜在危险。关于失控机器人像博格人一样复制或变异以摆脱其创造者施加的伦理约束的故事，在我们的科幻小说和电影中已经确立。自我复制甚至可能比我们想象的更基础——甚至可能无法控制。斯图尔特·考夫曼最近在《自然》杂志上发表的题为"自我复制：甚至肽也能做到"的文章讨论了一个发现：一个32氨基酸肽能"自催化自身的合成"。我们不知道这种能力有多普遍，但考夫曼指出，这可能暗示着"一条通向自我复制分子系统的路径，其基础远比沃森-克里克碱基配对更广泛。"（原文注释7:考夫曼，斯图尔特。"自我复制：甚至肽也能做到。"《自然》，382期，1996年8月8日：496页。参见www.santafe.edu/sfi/People/kauffman/sak-peptides.html。）事实上，多年来我们一直掌握着关于GNR技术固有危险的明确警告——仅仅知识本身就可能带来毁灭的可能性。但这些警告并未得到广泛宣传；公众讨论显然不够充分。宣传这些危险并没有利益可图。20世纪用于大规模杀伤性武器的核生化（NBC）技术主要是军事用途，在政府实验室开发。与之形成鲜明对比的是，21世纪的GNR技术有明确的商业用途，几乎完全由企业开发。在这个商业主义盛行的时代，科技作为其帮手，正在带来一系列几乎神奇的发明，这些发明具有前所未有的巨大盈利潜力。我们正在全球资本主义体系及其多重财务激励和竞争压力的驱使下，积极追求这些新技术的承诺，而这个体系几乎没有受到任何挑战。这是我们星球历史上第一次，任何物种通过自己的自愿行动，成为了对自身以及大量其他物种的威胁。这可能是一个在许多世界上都会发生的熟悉进程——一个新形成的行星，平静地围绕着它的恒星运转；生命缓慢形成；生物进化呈现万花筒般的进程；智能出现，至少在某种程度上赋予了巨大的生存价值；然后技术被发明。人们开始意识到自然界中存在这样的规律，这些规律可以通过实验被揭示，而对这些规律的认识既可以用来拯救生命，也可以用来夺取生命，而且都是以前所未有的规模。他们认识到，科学赋予了巨大的力量。转眼间，他们创造出改变世界的装置。一些行星文明看到了出路，对什么可以做、什么不能做设置了限制，安全地度过了危险期。其他一些文明则没有那么幸运或谨慎，最终灭亡了。这是卡尔·萨根1994年在《暗淡蓝点》中的写作，这本书描述了他对人类在太空中未来的愿景。我现在才意识到他的洞见有多深刻，也深深怀念并将继续怀念他的声音。尽管萨根的贡献很有说服力，但最重要的是他具备朴素的常识——这种品质，连同谦逊，似乎是许多21世纪技术的主要倡导者所缺乏的。我记得在我童年时，我的祖母强烈反对过度使用抗生素。她从第一次世界大战前就开始当护士，有一种朴素的常识，认为除非绝对必要，否则服用抗生素对你不好。这并不是说她是进步的敌人。在将近70年的护理生涯中，她见证了许多进步；我的祖父是糖尿病患者，从他有生之年可获得的改进治疗中获益良多。但是，像许多头脑清醒的人一样，她可能会认为我们现在设计机器人"替代物种"是非常傲慢的，因为我们显然在使相对简单的东西正常运转方面都有很多麻烦，在管理——甚至理解——我们自己方面也有很多困难。我现在意识到她对生命秩序的本质，以及与这种秩序共存并尊重它的必要性有着深刻的认识。这种尊重伴随着必要的谦逊，而我们这些带着21世纪初期傲慢的人却缺乏这种品质。常识观点，植根于这种尊重，往往走在科学证据的前面。我们建造的人造系统明显的脆弱性和低效率应该让我们所有人都停下来思考；我所从事的系统的脆弱性确实让我感到谦卑。我们应该从制造第一颗原子弹和随之而来的军备竞赛中吸取教训。我们当时做得不好，而现在的情况与之有着令人不安的相似之处。制造第一颗原子弹的努力是由杰出的物理学家罗伯特·奥本海默领导的。奥本海默本来对政治并不感兴趣，但他痛苦地意识到第三帝国对西方文明构成的严重威胁，这种威胁尤其严重，因为希特勒可能获得核武器。在这种担忧的推动下，他将自己强大的智力、对物理学的热情和富有魅力的领导才能带到了洛斯阿拉莫斯，领导了一群杰出人才迅速发明原子弹的非凡努力。令人震惊的是，在最初的推动力消失后，这项努力是如何自然而然地继续下去的。在V-E Day后不久的一次会议上，一些物理学家认为也许应该停止这项工作，奥本海默却主张继续。他陈述的理由似乎有点奇怪：不是因为担心入侵日本会造成大量伤亡，而是因为即将成立的联合国应该预先了解原子武器。这个项目得以继续的更可能原因是已经建立起来的势头——第一次原子弹试验"三位一体"已经近在眼前。（译者注：V-E Day 指的是欧洲胜利日（Victory in Europe Day）。这是 1945 年 5 月 8 日，标志着第二次世界大战中欧洲战场的战事结束，纳粹德国正式投降的日子。文中提到在 V-E Day 后不久的一次会议上，一些物理学家认为相关的努力（可能指原子弹研发等相关项目）应该停止，但奥本海默（Oppenheimer）主张继续，其给出的理由是即将成立的联合国应该预先了解原子弹等情况，而项目继续更可能的原因是已经形成的势头，因为第一次原子弹试验（Trinity）即将进行。）我们知道，在准备第一次原子弹试验时，物理学家们不顾许多可能的危险仍继续进行。根据爱德华·泰勒的计算，他们最初担心原子爆炸可能会点燃大气层。修订后的计算将毁灭世界的可能性降低到千分之三。（泰勒说他后来完全能够排除大气层点燃的可能性。）然而，奥本海默对"三位一体"试验的结果非常担心，以至于他安排了可能需要疏散新墨西哥州西南部的计划。当然，还有引发核军备竞赛的明显危险。在第一次成功试验后的一个月内，两颗原子弹摧毁了广岛和长崎。一些科学家曾建议仅仅展示原子弹而不是将其投放在日本城市上——说这样做将大大改善战后控制军备的机会——但这些建议无效。在珍珠港事件的悲剧仍然在美国人心中记忆犹新的情况下，要让杜鲁门总统下令仅仅示范这些武器而不是像他那样使用它们将是非常困难的——快速结束战争并拯救在任何入侵日本行动中可能损失的生命的愿望非常强烈。然而，最根本的真相可能非常简单：正如物理学家弗里曼·戴森后来所说，"投下原子弹的原因仅仅是因为没有人有勇气或远见说不。"重要的是要认识到物理学家们在1945年8月6日广岛轰炸后的震惊。他们描述了一系列情感波动：首先是对炸弹成功工作的成就感，然后是对所有死亡者的恐惧，接着是一种强烈的感觉，认为无论如何都不应该再投下另一颗炸弹。然而当然，在广岛轰炸仅仅三天后，另一颗炸弹就投在了长崎。1945年11月，在原子弹轰炸三个月后，奥本海默坚定地支持科学态度，说："除非你相信对世界的认知，以及这种认知所赋予的力量，是对人类具有内在价值的东西，并且你正在利用它来帮助传播知识，并愿意承担后果，否则你不可能成为一个科学家。"奥本海默继续与其他人一起研究艾奇逊-利利安塔尔报告，正如理查德·罗兹在他最近的著作《技术愿景》中所说，该报告"找到了一种防止秘密核军备竞赛的方法，而不需要诉诸武装的世界政府"；他们的建议是让民族国家将核武器工作移交给一个国际机构。这个提议导致了1946年6月向联合国提交的巴鲁克计划，但该计划从未被采纳（也许是因为，正如罗兹所说，伯纳德·巴鲁克"坚持在计划中加入常规制裁"，从而不可避免地注定失败，尽管它"几乎肯定会被斯大林的俄国拒绝"）。其他促进将核力量国际化以防止军备竞赛的明智步骤要么陷入美国政治和内部不信任的困境，要么遭到苏联的不信任。避免军备竞赛的机会很快就失去了。两年后，在1948年，奥本海默似乎在思想上达到了另一个阶段，他说："在某种粗糙的意义上，这种意义不能被任何庸俗、幽默或夸张所消除，物理学家们已经认识到了罪恶；这是他们无法摆脱的认知。"1949年，苏联引爆了一颗原子弹。到1955年，美国和苏联都已经测试了适合用飞机运载的氢弹。于是核军备竞赛开始了。大约20年前，在纪录片《三位一体之后》中，弗里曼·戴森总结了导致我们陷入核悬崖的科学态度："我自己也感受到了。核武器的诱惑。如果你以科学家的身份接触它们，这种诱惑是不可抗拒的。感受它在你手中，释放这种为恒星提供燃料的能量，让它听从你的命令。执行这些奇迹，将百万吨岩石抛向天空。这给人一种无限力量的错觉，在某种程度上，这种你可以称之为技术傲慢的东西，当人们看到他们用头脑能做什么时，就会征服他们。"（原文注释8:埃尔斯，乔恩。《三位一体之后：J.罗伯特·奥本海默与原子弹》（可在www.pyramiddirect.com获取）现在，就像当时一样，我们是新技术的创造者和想象中未来的明星，这次是在巨大的经济回报和全球竞争的驱使下——尽管存在明显的危险，我们几乎没有评估在一个由我们正在创造和想象的现实结果所形成的世界中试图生活会是什么样子。1947年，《原子科学家公报》开始在其封面上放置末日时钟。50多年来，它一直显示着我们所面临的相对核危险的估计，反映了不断变化的国际形势。时钟的指针已经移动了15次，如今停在午夜前九分钟，反映了核武器持续存在的真实危险。最近印度和巴基斯坦加入核大国行列增加了防扩散目标失败的威胁，这种危险在1998年通过将指针拨得更接近午夜得到了反映。在我们这个时代，我们面临着多大的危险，不仅来自核武器，还来自所有这些技术？灭绝的风险有多高？
哲学家约翰·莱斯利研究了这个问题，得出结论认为人类灭绝的风险至少为30%【注释9】，而雷·库兹韦尔则认为我们"有超过一半的机会渡过难关"，不过他也承认自己"一直被指责是乐观主义者"。这些估计不仅令人沮丧，而且它们还没有包括那些虽不至于导致灭绝但同样可怕的后果的概率。
（原文注释9:这个估计来自莱斯利的《世界末日：人类灭绝的科学与伦理》一书，他指出如果我们接受布兰登·卡特的末日论证，灭绝的可能性实际上会更高。卡特简要认为"我们应该对自己处在极早期这一观点持谨慎态度，例如在最早的0.001%的所有将要存在的人类中"。这可能是认为人类将无法存活更多世纪，更不用说殖民银河系的一个理由。卡特的末日论证本身并不产生任何风险估计，它是一个用于修正我们在考虑各种可能危险时产生的估计的论证。（Routledge出版社，1996年：第1、3、145页））
面对这样的评估，一些严肃的人士已经在建议我们应该尽快离开地球。我们将使用冯·诺依曼探测器殖民银河系，这些探测器会在恒星系统之间跳跃，并在途中自我复制。这一步在50亿年后（或者如果我们的太阳系在未来30亿年内被即将到来的与仙女座星系的碰撞灾难性地影响，可能会更早）几乎肯定是必要的，但如果我们相信库兹韦尔和莫拉维克的说法，这可能在本世纪中叶就有必要了。
这里的道德含义是什么？如果我们必须这么快地离开地球以确保物种生存，谁来承担那些被留下的人（毕竟是我们中的大多数）的命运的责任？即使我们分散到群星之中，难道我们不可能会带着我们的问题一起去，或者后来发现这些问题已经跟随我们而来了吗？我们在地球上的命运和在银河系中的命运似乎密不可分。
另一个想法是建立一系列防护盾来抵御每种危险技术。里根政府提出的战略防御计划是试图设计这样一个防护盾来抵御苏联的核攻击威胁。但正如参与该项目讨论的阿瑟·C·克拉克所观察到的："虽然可能会花费巨资建造只能'让'少数弹道导弹通过的局部防御系统，但全国性的保护伞是荒谬的。路易斯·阿尔瓦雷斯，也许是本世纪最伟大的实验物理学家，对我说这些计划的倡导者是'非常聪明但缺乏常识的人'。"
克拉克继续说："展望我那经常模糊的水晶球，我怀疑在一个世纪左右的时间里，完全的防御确实可能实现。但所涉及的技术会产生如此可怕的武器作为副产品，以至于没有人会去理会像弹道导弹这样原始的东西。"
（原文注释10:克拉克，阿瑟·C著《总统、专家和小行星》，发表于《科学》杂志，1998年6月5日。后收录于《问候，碳基两足生物！1934-1998年文集》，以《科学与社会》为题重印。圣马丁出版社，1999年：526页。）
在《创造的引擎》中，埃里克·德雷克斯勒提出我们应该建立一个主动的纳米技术防护盾——一种生物圈免疫系统——来防御可能从实验室逃逸或被恶意创造的各种危险复制器。但他提出的防护盾本身将极其危险——没有什么能防止它产生自身免疫问题并攻击生物圈本身。
（原文注释11:正如大卫·福雷斯特在其论文《管理纳米技术发展》（可在www.foresight.org/NanoRev/Forrest1989.html获取）中所建议的，"如果我们使用严格责任制作为监管的替代方案，任何开发者都不可能将风险成本（生物圈的毁灭）内部化，因此从理论上讲，永远不应开展纳米技术的开发活动。"福雷斯特的分析让我们只能依靠政府监管来保护我们——这并不是一个令人安心的想法。）
类似的困难也适用于针对机器人技术和基因工程的防护盾建设。这些技术太强大，无法在我们感兴趣的时间框架内进行防护；即使可能实施防御性防护盾，其开发的副作用至少会与我们试图防护的技术一样危险。
因此，这些可能性要么是不可取的，要么是无法实现的，或者两者兼而有之。我看到的唯一现实的替代方案是放弃：通过限制我们对某些类型知识的追求来限制那些过于危险的技术的发展。
是的，我知道，知识是好的，寻求新真理也是好的。我们自古以来就一直在寻求知识。亚里士多德在其《形而上学》开篇就简单地说："人类天性就是渴望知识。"作为我们社会的基本价值观，我们长期以来一直认同开放获取信息的价值，并认识到试图限制获取和发展知识所带来的问题。近来，我们开始崇敬科学知识。
但尽管有强大的历史先例，如果开放获取和无限发展知识此后将我们置于明显的灭绝危险之中，那么常识要求我们重新审视这些基本的、长期持有的信念。
正是尼采在19世纪末警告我们，不仅上帝已死，而且"对科学的信仰，这种无可否认存在的信仰，不可能源于功利性的计算；它一定是源于尽管'求真意志'的无用性和危险性这一事实，'不惜一切代价追求真理'不断被证明。"这就是我们现在完全面临的进一步危险——我们追求真理的后果。如果科学所追求的真理很可能导致我们的灭绝，那它确实可以被视为一个危险的上帝替代品。
如果我们作为一个物种能够就我们想要什么、我们要去向何处以及为什么达成一致，那么我们的未来就会变得不那么危险——那时我们可能会理解我们能够并且应该放弃什么。否则，我们可以轻易想象一场围绕GNR技术的军备竞赛展开，就像20世纪NBC技术那样。这可能是最大的风险，因为一旦这样的竞赛开始，就很难结束它。这一次——与曼哈顿计划期间不同——我们并不是在战争中，面对着威胁我们文明的不可调和的敌人；相反，我们是被我们的习惯、欲望、经济体系和对知识的竞争需求所驱使。
我相信我们都希望我们的道路能够由我们的集体价值观、伦理和道德来决定。如果我们在过去几千年里获得了更多的集体智慧，那么为此进行对话会更加实际，而我们即将释放的令人难以置信的力量也不会那么令人不安。人们会认为我们可能会被自我保护的本能驱使进行这样的对话。个人显然有这种欲望，但作为一个物种，我们的行为似乎并不有利于我们自己。在应对核威胁时，我们经常对自己和彼此不诚实，从而大大增加了风险。我不知道这是出于政治动机，还是因为我们选择不去思考未来，或者是因为面对如此严重的威胁时我们会因恐惧而行事不理性，但这并不是好兆头。基因、纳米技术和机器人技术的新潘多拉魔盒几乎已经打开，但我们似乎几乎没有注意到。想法无法重新装回盒子里；与铀或钚不同，它们不需要开采和提炼，而且可以自由复制。一旦它们暴露出来，就无法收回。丘吉尔在一个著名的反讽赞美中说，美国人民及其领导人"在尝试了所有其他选择之后，总会做正确的事。"然而，在这种情况下，我们必须更有先见之明地行动，因为最后才做正确的事可能会失去做任何事的机会。正如梭罗所说，"我们不是在驾驭铁路；而是铁路驾驭着我们"；这就是我们在我们的时代必须抗争的。问题确实是，谁将成为主人？我们能否在技术面前生存下来？我们正被推进这个新世纪，没有计划，没有控制，没有刹车。我们是否已经走得太远而无法改变方向？我认为还没有，但我们还没有开始尝试，而最后一次主张控制的机会——安全点——正在迅速接近。我们已经有了第一批宠物机器人，以及商业化的基因工程技术，我们的纳米级技术也在迅速发展。虽然这些技术的发展要经过一系列步骤，但不一定像曼哈顿计划和三位一体试验那样——证明一项技术的最后一步是巨大而艰难的。在机器人、基因工程或纳米技术领域实现野生自我复制的突破可能会突然到来，让我们感受到当初得知哺乳动物克隆成功时的那种惊讶。然而我相信我们确实有一个强大而坚实的希望基础。上个世纪我们处理大规模杀伤性武器的尝试为我们提供了一个放弃的闪亮范例：美国单方面放弃发展生物武器，不附加任何前提条件。这种放弃源于认识到，虽然创造这些可怕的武器需要巨大的努力，但此后它们很容易被复制并落入流氓国家或恐怖组织手中。明确的结论是，追求这些武器会给我们自己带来额外的威胁，如果不追求它们，我们会更安全。我们已经在1972年《生物武器公约》（BWC）和1993年《化学武器公约》（CWC）中体现了我们对生物和化学武器的放弃。（原文注释12:梅塞尔森，马修。《生物武器的问题》，在美国艺术与科学学院第1,818次例会上的演讲，1999年1月13日。（minerva.amacad.org/archive/bulletin4.htm））至于我们现在已经生活了50多年的持续存在的核武器重大威胁，美国参议院最近拒绝《全面禁止核试验条约》清楚地表明，放弃核武器在政治上并不容易。但是，随着冷战的结束，我们有一个独特的机会来避免多极军备竞赛。在生物和化学武器公约放弃的基础上，成功废除核武器可以帮助我们建立放弃危险技术的习惯。（实际上，通过销毁除100件以外的所有核武器——大约相当于第二次世界大战的总破坏力，这是一个相当容易的任务——我们就能消除这种灭绝威胁。）（原文注释13:多蒂，保罗。《被遗忘的威胁：核武器库存仍然是对文明最大的威胁》，发表于《自然》杂志，402期，1999年12月9日：583页。）验证放弃将是一个困难的问题，但并非无法解决。我们很幸运已经在生物武器公约和其他条约框架下完成了大量相关工作。我们的主要任务将是把这些应用于那些天然就比军事用途更具商业性的技术。这里实质性的需求是透明度，因为验证的难度与区分已放弃的活动和合法活动的难度成正比。我坦率地认为，1945年的情况比我们现在面临的要简单：核技术可以合理地分为商业和军事用途，而且由于原子试验的性质和放射性容易测量的特点，监控也得到了帮助。军事应用研究可以在洛斯阿拉莫斯等国家实验室进行，研究结果尽可能长时间保密。GNR技术并不能清晰地划分为商业和军事用途；考虑到它们在市场上的潜力，很难想象仅在国家实验室追求这些技术。由于它们的广泛商业追求，执行放弃将需要类似于生物武器的验证机制，但规模前所未有。这必然会在我们个人隐私和专有信息的愿望与保护我们所有人所需的验证之间产生紧张关系。我们无疑会遇到对这种隐私和行动自由损失的强烈抵制。验证放弃某些GNR技术必须在网络空间和实体设施中进行。关键问题将是在专有信息的世界中使必要的透明度可以接受，可能需要为知识产权提供新的保护形式。验证合规性还将要求科学家和工程师采用类似希波克拉底誓言的强有力的道德准则，并在必要时有勇气举报，即使要付出高昂的个人代价。这将响应曼哈顿计划最资深幸存成员之一、诺贝尔奖获得者汉斯·贝特在广岛50年后发出的呼吁，即所有科学家都应"停止并放弃创造、开发、改进和制造核武器和其他潜在的大规模杀伤性武器的工作。"在21世纪，这要求那些从事NBC和GNR技术工作的人保持警惕和个人责任感，以避免实施大规模杀伤性武器和基于知识的大规模杀伤。（原文注释14:另见汉斯·贝特1997年致克林顿总统的信，网址：www.fas.org/bethecr.htm。）梭罗还说，我们会"按照我们能够放弃的东西的数量成比例地富有。"我们寻求快乐，但值得质疑的是，我们是否需要冒如此高的彻底毁灭风险来获得更多知识和更多东西；常识告诉我们，我们的物质需求是有限度的——某些知识太危险了，最好被遗忘。我们也不应该在不考虑代价的情况下追求近乎永生，不考虑灭绝风险的相应增加。虽然永生可能是最初的乌托邦梦想，但它肯定不是唯一可能的乌托邦梦想。我最近有幸见到了杰出的作家和学者雅克·阿塔利，他的著作《地平线》（英文版名为《千禧年》）帮助启发了本杂志先前描述的Java和Jini对普适计算时代的方法。在他的新书《博爱》中，阿塔利描述了我们的乌托邦梦想是如何随时间改变的："在社会的黎明时期，人们将他们在地球上的旅程视为不过是一个痛苦的迷宫，在其尽头是一扇门，通过死亡，通向众神的陪伴和永恒。随着希伯来人和希腊人的出现，一些人敢于将自己从神学要求中解放出来，并梦想着一个自由能够繁荣的理想之城。其他人注意到市场社会的演变，理解到一些人的自由会导致其他人的异化，于是他们寻求平等。"雅克帮助我理解这三种不同的乌托邦目标如何在当今社会中存在着紧张关系。他接着描述了第四种乌托邦，博爱，其基础是利他主义。只有博爱才能将个人的幸福与他人的幸福联系起来，从而带来自我维持的希望。这让我明确了我对库兹韦尔梦想的问题。通过机器人技术追求永恒的技术方法可能不是最理想的乌托邦，而且它的追求带来明显的危险。也许我们应该重新思考我们的乌托邦选择。我们在哪里可以寻找新的伦理基础来确定我们的方向？我发现达赖喇嘛的《新千年伦理》一书中的观点很有帮助。众所周知但很少被重视的是，达赖喇嘛认为最重要的是我们要以爱心和同情心对待他人，我们的社会需要发展更强的普遍责任感和相互依存意识；他提出了一个适合阿塔利的博爱乌托邦的个人和社会积极伦理行为标准。达赖喇嘛进一步论证说，我们必须理解是什么让人们感到幸福，并承认有力的证据表明，无论是物质进步还是追求知识的力量都不是关键——科学和科学追求本身是有限度的。我们西方的幸福观念似乎来自希腊人，他们将其定义为"在能给予他们发挥空间的生活中运用生命力量追求卓越。"（原文注释15:汉密尔顿，伊迪丝。《希腊之道》。W. W. 诺顿出版社，1942年：35页。）显然，如果我们要在未来获得幸福，就需要在生活中找到有意义的挑战和足够的发展空间。但我相信我们必须找到创造力的其他出口，超越永续经济增长的文化；这种增长在过去几百年里在很大程度上是一种祝福，但它并没有给我们带来无限的幸福，现在我们必须在通过科学和技术追求不受限制和无方向的增长与随之而来的明显危险之间做出选择。自从我第一次遇见雷·库兹韦尔和约翰·塞尔已经过去一年多了。我在那些呼吁谨慎和放弃的声音中，以及在那些和我一样关心我们目前处境的人中看到了希望的理由。我也感到一种更深层的个人责任感——不是对我已经做过的工作，而是对我可能在科学交汇处做的工作。但许多了解这些危险的人似乎仍然奇怪地保持沉默。当被追问时，他们搬出"这没什么新鲜的"这样的托词——好像意识到可能发生什么就足够了。他们告诉我，"有很多大学里的生物伦理学家整天都在研究这些东西。"他们说，"这些都已经被专家写过了。"他们抱怨说，"你的担忧和论点都是老生常谈。"我不知道这些人把他们的恐惧藏在哪里。作为复杂系统的架构师，我以一个通才的身份进入这个领域。但这是否应该减少我的担忧？我知道已经有很多权威的著作、讨论和演讲。但这是否意味着它已经触及到人们？这是否意味着我们可以忽视摆在我们面前的危险？
知道并不是不采取行动的理由。我们能否怀疑知识已经成为我们对自己挥舞的武器？原子科学家的经历清楚地表明需要承担个人责任，事情发展太快的危险，以及一个过程如何会有自己的生命力。我们可以像他们一样，在几乎瞬间创造出无法克服的问题。如果我们不想同样被我们的发明的后果所震惊和震撼，就必须提前做更多思考。我目前的专业工作是改进软件的可靠性。软件是一种工具，作为工具制造者，我一直在努力思考我制造的工具的用途。我一直相信，考虑到软件的众多用途，提高软件的可靠性将使世界变得更安全更好；如果我开始相信相反的情况，那么我将在道德上有义务停止这项工作。我现在可以想象这样的日子可能会到来。这一切让我感到不是愤怒而是有些忧郁。从此以后，对我来说，进步将带有些许苦涩。你还记得《曼哈顿》中倒数第二个优美的场景吗？伍迪·艾伦躺在沙发上对着录音机说话？他正在写一个关于人们为自己制造不必要的神经质问题的短篇故事，因为这能让他们避免面对更多关于宇宙的无法解决的、可怕的问题。他引导自己思考"为什么生命值得活下去？"并思考什么让生活对他来说有价值：格劳乔·马克思、威利·梅斯、木星交响曲的第二乐章、路易斯·阿姆斯特朗的《土豆头布鲁斯》、瑞典电影、福楼拜的《情感教育》、马龙·白兰度、弗兰克·辛纳特拉、塞尚的苹果和梨、山姆·沃的螃蟹，最后是压轴好戏：他爱人特蕾西的脸庞。我们每个人都有自己珍视的事物，当我们关心这些事物时，我们就找到了人性的本质。最终，正是因为我们强大的关爱能力，我们才能乐观地面对摆在我们面前的危险问题。我眼下的希望是能参与到一个更大规模的讨论中，讨论这里提出的问题，与来自不同背景的人们一起，在不会因技术本身而恐惧或偏爱的环境中进行。作为开始，我已经两次在阿斯彭研究所赞助的活动中提出了许多这些问题，并分别提议美国艺术与科学学院将其作为帕格沃什会议工作的延伸来讨论。（这些会议自1957年以来一直在举行，讨论军备控制，特别是核武器，并制定可行的政策。）遗憾的是，帕格沃什会议在核精灵出瓶后才开始——大约晚了15年。我们在认真解决21世纪技术问题——预防基于知识的大规模杀伤——方面也起步较晚，进一步拖延似乎是不可接受的。所以我仍在寻找；还有很多东西要学。我们是否能够成功，是生存还是成为这些技术的牺牲品，这还未可知。我又熬夜到很晚了——快早上6点了。我正试图想象一些更好的答案，打破这个咒语，让它们从石头中解放出来。
～完～
感谢阅读，麻烦点个“赞”和“在看”，谢谢！
