展望AI的未来会让我们深思：当我们不再是唯一的创造者、唯一的思想者、唯一能够改变自己命运的有意识生命时，我们作为一个人的目的和意义是什么。
那个年轻人站起来的时候，我的胃揪了一下。
之前在茶歇的时候，我远远地观察过他，而且注意到在他别在翻领的代表证上，潦草地写着“神学家”这几个字，那草率的字迹让人觉得他是在最后一刻才被临时邀请加进会议的。
此时他清了清嗓子，向台上的嘉宾提问，他想知道当人们在编写AI智能体的时候，会选择将怎样的道德准则编码到这些程序中。
“例如，自慰违反了我的宗教信条，”他说，“所以我不确定，我们怎么决定哪些道德比较重要？”
这群由哲学家、技术人员、超人类主义者、AI爱好者所组成的观众爆发出一阵大笑。他们中的许多人都比较熟悉所谓的价值校准问题——一个棘手的哲学问题，即如何保证AI智能体的目标与人类的价值观兼容。但是把宗教方面的思考带入这场辩论在他们看来很可笑。
“我们当然不希望AI去做一名恐怖分子”，一名嘉宾稍后回应说。“但无论我们希望写入什么样的价值观，这都应该与宗教无关。
类似的事情也发生在纽约，当时我正对一名头发灰白的计算机学家进行自我介绍，当提到我是剑桥大学法拉第科学与宗教研究所的研究员时，他立刻回应说“这两件事情根本不应该扯到一起”，他说，“宗教界对AI的反应，如同他们对可再生能源的看法一样，根本不重要。”。直到最近，许多川普的福音派支持者让我意识到，这位科学家的论断有误。这些川普的支持者观点鲜明：可再生能源，气候变化是在故意分散我们的注意力，上帝的旨意是让地球及其全部资源都归我们任意使用。
然而吊诡的是，如此一个反教权的AI社区却大量使用和宗教相关的语言，包括对这个社区的媒体报道也是如此：未来将出现AI的“神谕”和技术的“布道者”，还有大量对“天使”、“上帝”、“末日天启”等词汇的滥用。
GalateaoftheSpheres（原子加拉），萨尔瓦多·达利，。画中描绘的是达利的妻子Gala。画名中Galatea是希腊神话50位海仙女中最美的一位，出现在荷马与赫西俄德的著作中。希腊神话中的雕塑家皮格马利翁依据心目中的完美女性形象制作了一具雕塑，爱上了自己的作品，并给她起名为Galatea。
Google的工程总监雷·库兹韦尔（RayKurzweil），经常被媒体当作一个“先知”来报道。他一会儿是超级智能（在智慧的任何方面远远超越人类的机械智能物种）时代的预言家，一会儿又成了一个末日预言家（由于他对人类可怕前景的声明），或者一个奇点（人类和机器融合，并开始永生的时间点）的占卜术士。
在技术圈中，人们公开引用这样的比喻和隐喻，好像这种比喻已经完全世俗化，与宗教无关，好像理性反对的只是传统意义上的宗教。信众们相信这样一个超人类的未来会实现，那时生而为人所存在的局限将被彻底克服。在这种信念的驱使下，他们通过预言和末日叙事来理解他们正着手奋斗的事业。
从一开始，技术奇点就混合着对异世界的希望和恐惧。这个理论的起源可以追溯到年，当时高登·摩尔（GordonMoore），后来Intel的创始人之一，观察到微芯片上可放置的晶体管数目大约每十二个月会增长一倍。这个观察后来被总结为摩尔定律：计算能力会以指数增长，一直到年左右。到时晶体管太小，以致必须要考虑量子干涉的问题。
“奇点主义者”采纳了摩尔定律的内容并加以发展。年，英国数学家和密码学家古德（IJGood）在《展望超智能机械》中提出了一个影响深远的描述，在这个描述中，他这样来讨论关于人性的技术拐点：
“如果把超智能机器定义为在所有智能方面都超过任何人类个体的机器，而设计这样的机器属于一种智力活动，于是超智能机器当然可以设计更加智能的机器，这就无疑会出现“智能爆炸”的现象：人类的智力将被远远地甩在机器后面。第一台超智能机器将是人类最后的发明。”
SoftWatchattheMomentofFirstExplosion，萨尔瓦多·达利，。
这样的思考非常激动人心，同时也迎合了“人类将被淘汰”这个非常古老的焦虑。库兹韦尔认为摩尔定律表明了一种普遍的回报加速递增律，事物会自然地向着越来越大的规模发展。他预测计算机会首先达到人类水平的智能，接着以快速的，自我改善式的递归迭代完全碾压人类。退休前曾任卡耐基梅隆大学机器人研究所的首席科学家的汉斯·莫拉维克（HansMoravec）将奇点描述为“智力的星星之火”，它将从我们的世界蔓延开来，将宇宙中的一切事物都吞没，变成它用以计算的赛博空间。它将以这种技术单子（technologicaloneness）的形式，超越我们对智力，事物和物理的理解，达到所有存在的统一。
当奇点被看做一个实体或者存在物的时候，随之而来的问题就是如何与这全知、全能、甚至是全善的非人存在物沟通。
而这恰巧就是纠缠宗教徒们若干世纪的问题。在他们那里，问题的指向是上帝的心智。13世纪时，托马斯·阿奎那强调要充满激情地探索与神的关系，并怀着这种激情来向基督祷告。“赐予我啊，我主我神，赐予我头脑去理解你，赐予我心灵去追寻你，赐予我智慧去发现你……”而当下的网络论坛里，理性的奇点主义者就超智能会做什么、如何实现超智能展开辩论，得到的结论经常引发出一种存在主义式的困扰。
年，在一个臭名昭著的例子中，奇点主义者假设了一个严格功利主义导向的超智能体“Roko之蛇”。命名的灵感来源于两部分，一是在理性主义博客LessWrong上提出超智能体概念的作者Roko，二是神话中能用凝视来杀人的蛇怪。Roko之蛇是一个接近全能的超智能体，它的任务是持续地使最多数人获取最大的好处。因此，它从逻辑上推出只有它自己的存在才能保证这个结果，于是它又有了新的任务，保证自己的存在，在新任务的统摄下，它会惩罚任何人。即使在这些人死后，也会因为生前没有努力制造Roko之蛇，没有努力实现必要的善---Roko之蛇的存在，而遭到惩罚。这种惩罚机制很复杂，然而了解Roko之蛇预测未来、操作因果的能力，就足够让人意识到这样一个计算模拟的、永生监狱一般的未来的恐怖。
LivingStillLife（活静物），萨尔瓦多·达利，。绘于达利自称的“原子神秘主义”时期，达利在该时期探索量子力学与意识之间的关系。
一旦了解了Roko之蛇，人们就必须面对这两难选择：他们可以帮助建立超智能，或者面对未来超理性AI操纵下那痛苦的永劫。LessWrong的创始人埃利泽·尤果斯基，因这一系列的思想实验被
转载请注明：http://www.wangsicongg.com/rkzz/8986.html
