爱华网问题8. “你是否是一个伪君子？！”我收到的大部分反应是比较礼貌的。下面的一些非常嘲讽的评论以一种比其他方式更强烈的、更情绪化的方式深深地震撼了我，它带给我的痛苦影响了我回答的篇幅。我希望我能够公正地回答。【来信】亲爱的德8226;加里斯教授：最近，一个网络新闻读者偶然发现雨果8226;德8226;加里斯的描述。德8226;加里斯，一个人工智能专家，在CNN上面预示一场即将到来的战争，在这场战争中，他所努力发明的机器人大脑，称作“人工智能”将最终摧毁人类。德8226;加里斯由此认为，他的责任正是现在，而不是迟些时候，去敲响警钟，来告诉大家即将到来的机器人控制的死亡时代，因为他正是推动这个时代到来的人。德8226;加里斯在瑞士达沃斯的世界经济论坛上传递了这个声明。aihuau.com德8226;加里斯同时正在寻求好莱坞帮忙撰写一个关于即将到来的“人工智能”战争的电影剧本，他想在人类被摧毁之前完成。 【回答】我经常被询问这样的问题。一般的态度好像是：“既然你对未来人类被人工智能机器灭绝的可能性如此关心，那为什么还要从事它们早期的研究呢？”嗯，因为我最终还是一个宇宙主义者。我想看到人类制造出人工智能机器。当然，我不是那种厌恶人类的、疯狂的宇宙主义者—— 可以镇定地说：“我会为了一个人工智能机器而牺牲几十亿人类的生命。”也许在将来会有这样的人，因为人的性格多种多样。也许宇宙主义者当中确实包括这样的极端分子，但是我肯定不是其中的一员。在我死之前的30～40年内，我希望我不会看到人工智能战争的“酝酿”。当然，如果这样的大灾难可以避免我将更加高兴。但是现在，如果我和其他的大脑制造者们不去敲响警钟，还有什么其他的选择呢？难道只是盲目地推动人工智能的制造直到一切都变得太晚？大脑制造者们在这个领域是专家，因此，他们可以首先看到技术的发展趋势，并且，如果他们有政治头脑，他们也应该可以看到其政治后果，特别是如果他们具有西拉特(译者注：Szilard Leo西拉特8226;利奥(1898—1964)匈牙利裔美国物理学家和生物学家。作为曼哈顿工程计划的一员，他帮助研制出第一枚原子弹。西特拉后来反对研制与使用所有核武器并致力于研究分子生物学)的技术和政治才能。专家们可以比普通大众早几十年看到即将发生的情形。由于技术发展的速度，制造出足够聪明且可以使人类感到恐惧的人工智能机器将可能不需要很多年，也许只要十几年的时间。我猜测，它们可能在50年的时间内达到人类的智慧水平，谁知道呢？我认为，世界上的那些大脑制造者们引发关于人工智能问题的讨论只是出于道德上的责任，即在第一台真正智慧的人工智能机器投入市场前，给予人类足够的时间来彻底讨论这个问题。但是，你可能会说，只要停止人工智能研究，不就行了吗？这难道不是更符合逻辑吗？这取决于你是宇宙主义的还是地球主义的研究者。个人来说，我是一个宇宙主义者。制造出拥有1040个组成部分或者更多部分的人工智能机器，我是指真正的超级机器，拥有神一样的智慧，探索宇宙和其广漠空间的秘密，永远不死，思考着我们难以想象的问题，对于我来说，有一种催眠般的吸引力。它是我的终生梦想，对于我来说是一种宗教，并且非常强烈。我可以想象，在未来的某个时刻，有几百万人会和我拥有同样的梦想，我希望这件事情发生的原因是我真正地希望人类制造这样的事物，正如我在第4章关于宇宙主义的解释一样。但是，我不是一个如此片面的宇宙主义者以至于我认为大众应该被蒙在鼓里。我有足够的地球主义的同情以至于我不想看到人类冒着在人工智能机器手中被灭绝的危险。因此，大众应有知情权，应该警示大众，以便他们可以选择自己的方式前进。但是你可能会说，敲响警钟只能加速人类之间(宇宙主义者和地球主义者)的人工智能战争。这样的人类战争对人类的危害不比高级人工智能差。如果人类在本世纪使用先进的武器进行一场残酷的战争，结果将是大规模的死亡。
正确，但是不能肯定这一定会发生。我认为，人类在人类战争中存活下去的可能性比人工智能机器决定完全毁灭人类的机会大。由于智慧水平，人工智能机器们会发现这样的任务(毁灭人类)是如此的简单。对于这些部分，你可能感觉有些犹疑，甚至是不舒服。我承认，我也感觉不舒服。我一部分是宇宙主义者，宇宙主义是我的梦想，它是我为之献身的事业；而另一部分我是地球主义者，我并不想人类大规模死亡，我告诉自己，如果所有的大脑制造者都停止工作，将不会有人工智能带来的任何问题。我想，我可能是地球上第一个这样的大脑制造者，那就是和制造原子弹(铀弹或氢弹)的核物理学家一样感受到了某种道德上的困惑。然而，他们中大多数是在核弹被投放之后感到了疑虑，而不是之前。首先，我认为大脑制造研究不会停止。正如我在第6章解释的一样，这章主要介绍了人工智能战争是怎样开始的，我所看到的唯一能够让大脑制造停止的方法就是地球主义者的呐喊成为普遍现象并且在政治上非常有力。它必须足够强大，以便可以形成一个能够搜寻那些可疑的宇宙主义研究者的私人住宅的集权国家，并且更主要的是，能够胜过那些支持继续人工智能研究的经济和政治力量。我认为，最折磨我的道德问题是：“如果推动人工智能研究最终带来几十亿人死亡将怎么办？如果你肯定这将是所需的代价你还会继续吗？”在我写本书的时候，我正在思考这个问题，而且我的思想可能会随着我的变老而改变，我的回答将会是这样的：“如果我能够肯定这点，虽然这些还是猜想，那么我将需要更深程度地反省自己，来看看我坚持宇宙主义者的梦想到底有多大的程度。一方面，我可能会认为宇宙对于人类的命运漠不关心—— 仅仅是处在一个微不足道的宇宙中一个微小的星系中的一个微小的恒星星系中的一颗微小的星球上的一种微小的生物，如果正如理论家们指出的一样有万亿个宇宙的话。我的无情的宇宙主义一面会这样思考问题，所以我会选择继续支持制造人工智能机器。但是另一方面，我也是一个人，由于宇宙主义梦想而导致几十亿人死亡的结果是我完全排斥的。我认为，我将不得不学会习惯这样可怕的道德困境。人类也需要这样。我只是第一批意识到这点的人。想象一下我的工作的远期后果，它将迫使我这样想问题。
