Geoffrey Hinton：当AI教父开始恐惧他的造物

原文来源：神经现实

图片来源：由无界 AI生成

化茧

在你的大脑中，神经元以大小不一的网络排列着。你的每一个动作、每一个想法都会改变这些网络：神经元或被纳入、或被排除，它们之间的连接或被加强、或被削弱。这个过程无时无刻不在进行——在你阅读这些文字的时候，它就在发生变化，其规模之大超乎想象。你的脑中有大约800亿个神经元，共享1万亿甚至更多的连接。你的头骨中就像蕴藏着一个星系，而这个星系变幻莫测。

常被称为“人工智能教父”的计算机科学家杰弗里·辛顿（Geoffrey Hinton）递给我一根手杖。他说：“你在这里需要它。”然后，他沿着一条穿过树林的小路向湖岸边走去。小路蜿蜒地穿过一片绿树成荫的空地，经过成对的棚屋，然后沿着石阶下到一个小码头。辛顿边往下走边警告：“这里十分滑。”

新知识会以微妙的姿态融入你现有的神经网络。有时它们是转瞬即逝的：例如你在聚会上遇到一个陌生人，他的名字可能只会在你的记忆网络中留下短暂的印象。但有时它们可能持续一生——要是这个陌生人成为了你的配偶。由于新知识与旧知识相互交融，你所知的会影响你所学的。如果派对上有人跟你谈论了他的阿姆斯特丹之旅，那么第二天，当你逛博物馆时，你的神经网络可能会把你往维米尔（Vermeer，17世纪荷兰画家）那儿推一推。类似地，微小的变化往往会引起巨大的转变。

辛顿说：“我们曾在这儿举办过篝火晚会。”我们在凸向安大略省乔治亚湾（Ontario’s Georgian Bay）的一块岩石上，乔治亚湾一直向西延伸到休伦湖（Lake Huron）。水面上岛屿星罗棋布。2013年，65岁的辛顿把一家由三人初创的公司以4400万美元的价格卖给谷歌，然后买下了这座岛屿。在此之前，他在多伦多大学担任了30年的计算机科学教授，在这个当时叫神经网络的冷门子领域中充当领头羊。这个领域的灵感来自大脑中神经元的连接方式。由于人工神经网络只在完成图像分类、语音识别等任务时取得相对的成功，大多数研究人员认为它们往好了说只是略微有趣，往坏了说是在浪费时间。辛顿回忆道：“我们的神经网络甚至无法与一个孩子比肩。”20世纪80年代，当他观看电影《终结者》时，他并没有为电影中毁灭世界的人工智能 “天网”是一个神经网络感到困扰，相反，他很欣慰地看到这项技术被描绘得大有可为。

石头上因高温而产生裂缝，从生火的小凹陷处向外迸射，辛顿用棍子戳了戳生火的地方。他身材瘦高，有一副英伦面孔，作为一名彻头彻尾的科学家，他总在评论物质世界中发生的事情：动物的生活、海湾中的水流、岛屿的地质。“我在木头下面放了一个钢筋网，这样空气就能进来，温度高到连金属都能变软。”他用一种奇怪的语气说，“这才是真正的火，值得引以为傲！”

几十年来，辛顿不断尝试以巧妙的方式构建更大的神经网络。他想出新的方法来训练它们，帮助它们不断进步。他招募研究生，让他们相信神经网络并不是一个失败的事业。他认为自己在参与一个可能在一个世纪后、在他死后才会取得成果的项目。与此同时，他发现自己却变成了鳏夫，独自抚养两个年幼的孩子。在一个特别困难的时期，家庭生活和研究压得他喘不过气来，他认为自己已经拼尽全力。他说：“我早在46岁时就对神经网络死心了。”他没有预料到，神经网络技术会在约十年前突飞猛进。计算机的速度越来越快，神经网络利用互联网上的数据开始转录语音、玩游戏、翻译语言甚至驾驶汽车。大约在辛顿的公司被收购时，人工智能开始蓬勃发展，OpenAI的ChatGPT 、谷歌的Bard等系统应运而生，很多人相信它们正以不可预知的方式改变着这个世界。

辛顿沿着海岸出发了，我紧随其后，碎裂的岩石在我脚下晃动。“看呀！”他站在一块与人一般大的磐石前说，这块巨石挡住了我们的去路。“你可以先这样，先把棍子扔过去，”他把自己的棍子扔到巨石的另一边，“然后这里和这里都有支点，这儿还有一块能抓住的。”我看着他轻车熟路地爬过去，自己也试探性地迈出了相同的步伐。

每当我们学习时，我们的神经网络都会产生变化，但究竟是如何变化呢？许多像辛顿这样与计算机打交道的研究人员，在试图探索神经网络的 “学习算法”——一种通过改变人工神经元之间连接的统计“权重”来汲取新知识的程序。1949年，心理学家唐纳德·赫布（Donald Hebb）就人们如何学习提出了一个简单的规则，通常被概括为神经元“共激活者共连接（fire together wire together）”。大脑中的一组神经元一旦同步激活，就更有可能再次同步激活。这有助于解释为什么我们在第二次做某事时会更易上手。但很快人们发觉，计算机化的神经网络需要用另一种方法来解决复杂的问题。20世纪60、70年代，辛顿还是一名年轻的研究人员，他在笔记本上绘制了神经元网络，并想象着新知识如何到达它们的边界。由几百个人工神经元组成的网络如何存储一个概念？如果这个概念存在缺陷，这些网络又该如何修正？

我们沿着海岸绕了一圈，来到辛顿的小屋，这是岛上唯一的一间小屋。它由封闭式玻璃建成，高高矗立在宽阔黝黑的岩石阶梯之上。“有一次我们来到这里，一条巨大的水蛇把头探了过来。那是一段美好的回忆。”辛顿在我们靠近屋子时说。他的父亲是一位著名的昆虫学家，曾命名了一种鲜为人知的蜕变阶段（metamorphosis）。正是他的父亲给他灌输了对冷血动物的独爱。小时候，他和父亲在车库里养了很多毒蛇、乌龟、青蛙、蟾蜍和蜥蜴。如今，当辛顿在岛上时（他经常在温暖的月份去岛上），常常会寻找蛇并把它们带到家里，这样他就可以在饲养箱里观察它们。他一生都在思考如何自下而上地思考问题，因此很善于观察非人类的心智。

今年早些时候，辛顿离开了谷歌（自从辛顿的公司被收购后，他一直在谷歌工作）。他担心人工智能可能造成危害，并开始在接受采访时谈论这项技术可能对人类构成的“生存威胁”。他越是使用ChatGPT（一个由大量人类写作语料库训练出来的人工智能系统）就越是惴惴不安。

有一天，福克斯新闻（Fox News）的人给他写信，希望就人工智能问题进行采访。辛顿偏爱用电子邮件发送尖刻的单句回复，比如，在收到一份来自加拿大情报机构的长报告后，他回复：“斯诺登是我的英雄（Snowden is my hero）。”所以他尝试写点俏皮话，最后，他写道：“福克斯新闻是个敏锐的白痴（Fox News is an oxy moron）*。”然后，他灵机一动，问ChatGPT能否解释他的笑话。系统告诉他，他的句子暗示福克斯新闻是假新闻，当他让ChatGPT留意“白痴”（moron）前的空格时，系统解释说福克斯新闻会让人上瘾，就像药物奥施康定（OxyContin）一样。辛顿大吃一惊。这种理解水平似乎代表了人工智能的一个新时代。

*译者注：

oxymoron在英语中是“矛盾修饰法”之意，但它是个来自希腊语的组合词，此处辛顿故意用空格将该词拆开，使用希腊语本意：oxy即为希腊语oxys，意为锐利的、敏锐的、酸的；moron意为白痴。ChatGPT表现得似乎“理解”了辛顿的俏皮话，因为它也使用了oxy这个梗：OxyContin中的“oxy”来自其成分oxycodone，oxycodone的词源也是oxys（取“酸”之意）。

我们有许多理由畏惧人工智能的来临。比如，担心人类员工被电脑取代是人之常情。但是，辛顿与包括OpenAI首席执行官萨姆·奥特曼（Sam Altman）在内的许多著名技术专家一起，发出了警告，称人工智能系统可能会开始自我思考、甚至试图取代或消灭人类文明。人工智能最杰出的研究人员之一，发表了如此引人心忧如焚的观点，属实令人震惊。

他站在自家厨房里（他一生中大部分时间都在受背痛折磨，最终疼痛变得非常严重，以至于他放弃了坐着。自2005年以来，他从未坐过超一小时。）对我说：“人们说，人工智能只是美化了的‘自动完成’功能（autocomplete）。让我们来分析一下，假设你想成为预测下一个单词的高手：如果你想成为真正的高手，就必须理解别人在说什么，别无他法。因此，训练让某物真正擅长预测下一个单词，实际上就是在强迫它去理解。是的，这的确是‘自动完成’，但你并没有想清楚，拥有一个真正好的‘自动完成’意味着什么。”辛顿认为，“大型语言模型”（large language models），例如为OpenAI聊天机器人提供支持的GPT，可以理解单词和想法的含义。

那些认为我们高估了人工智能的怀疑论者指出，人类思维与神经网络之间仍存在着鸿沟。首先，神经网络的学习方式与我们不同：我们通过积累经验，掌握经验与现实、与自身的关系，有机地获取知识；而神经网络则是抽象地学习，他们处理的是关于这个世界的巨大信息库，一个他们并不真正居住其间的世界。但辛顿认为，人工智能系统所展示的智能超越了其人工源头。

“当你吃东西时，你把食物吃进去，然后分解成更微小的成分，”他告诉我，“所以你大可以说，我身体里的部分是由其他动物的部分组成的。但这是在误导他人。”他认为，通过分析人类的写作，像GPT这样的大型语言模型是能够了解世界是如何运作的，从而产生一个能够思考的系统，写作只是这个系统所能做的一小部分而已。他接着说：“这就好比毛毛虫蜕变成蝴蝶。在蛹里，你把毛毛虫变成浓汤，再从汤里把蝴蝶造出来。”

他开始在厨房边的一个小柜子里捣鼓起来。“啊哈！”他兴高采烈地把一个东西放在柜台上——一只死蜻蜓。它被保存得非常完好。他解释：“这是我在码头发现的。它刚在石头上孵化出来，正在晾干翅膀，所以我把它捉住了。看它下面。”辛顿捕捉到的这只蜻蜓刚从幼虫形态中蜕变出来。这只幼虫长相迥异，有自己的眼睛和腿。它的背部有一个洞，蜻蜓就是从这个洞里钻出来的。

“蜻蜓的幼虫是生活在水里的怪物，”辛顿说，“就像电影《异形》中一样，蜻蜓从怪物的背部破壳而出。幼虫在一个阶段变成了浓汤，然后蜻蜓从浓汤中诞生了。”在他的比喻中，幼虫代表了用于训练现代神经网络的数据，蜻蜓则代表了由此产生的敏捷人工智能。深度学习（辛顿帮助开创的技术）导致了这种蜕变。我弯下腰，想看得更清楚一些。辛顿站得笔直，他几乎总是这样，小心翼翼地保持着姿势。“多漂亮呀，”他轻声说，“你现在明白了吧。它一开始是一类东西，现在变成了另一类东西。”

巨树的枝桠

几周前，当辛顿邀请我参观他的小岛时，我想象了各种可能发生的场景。也许他是一个想要独处的内向者，或者是一个有上帝情结（God complex）和未来主义混合思想的科技霸主。在我抵达的前几天，他通过电子邮件发送了一张他拍摄的照片，照片上一条响尾蛇盘踞在岛上的草丛中。我不知道自己是该感到高兴还是害怕。

事实上，就私人岛屿而言，辛顿的岛屿算简陋的，总共只有两英亩。辛顿本人与硅谷的技术大亨截然相反。现年75岁的他有着约书亚·雷诺兹（Joshua Reynolds）画作中的英伦面孔，白发衬托着宽阔的前额。他的蓝眼睛通常很沉稳，只留下嘴巴来负责表达情感。他是一个侃侃而谈的人，特别是当谈论起自己，“‘杰夫（Geoff，他名字的简写）’是‘自大狂（ego fortissimo）’的变形。”他跟我说。

但他不是一个自负的人，因为他的生活被悲伤的阴影笼罩。“我也许应该和你讲讲我的妻子们，”我们第一次交谈时他说，“我曾有过三次婚姻。一次友好结束，另外两次悲剧收场。”他与早年结婚的第一任妻子乔安妮（Joanne）仍然保持着友好关系，但他的第二任和第三任妻子罗莎琳德（Rosalind）和杰姬（Jackie）都分别于1994年和2018年死于癌症。在过去的四年里，辛顿一直和退休了的社会学家罗斯玛丽·加特纳（Rosemary Gartner）在一起。她温柔地告诉过我：“我觉得他是那种总是需要伴侣的人。”

他是一位浪漫的理性主义者，对科学和情感有着平衡的感性认识。在小屋里，一个单独的大房间占据了一楼大部分空间，房间里摆着一艘酒红色的独木舟。他和杰姬在岛上的树林里发现了这艘年久失修的独木舟。杰姬是一位艺术史学家，在她生病的那几年，她和一些女独木舟制作者一起重造了这艘独木舟。辛顿说：“她完成了首航。”从那以后，再也没有人使用过它。

他把蜻蜓放好，然后走到一张站立式小书桌前，那里放着一台笔记本电脑，旁边是一堆数独谜题和一本记有电脑密码的笔记本（他很少做笔记，因为他设计了一套记忆系统，能在脑子里生成并回忆起很长的密码）。他问道：“我们来制作族谱如何？”他用两根手指（他没有固定的打字指法）输入了 “杰弗里·辛顿族谱”，然后按了回车键。2013年，谷歌收购了辛顿的初创公司，部分原因是该团队发现了如何利用神经网络大幅提高图像识别能力。现在，屏幕上布满了无穷无尽的族谱。

辛顿出身于一个特殊的英国科学世家：政治激进且富有创造力。在他的族谱中，他的叔祖父塞巴斯蒂安·辛顿（Sebastian Hinton）是攀登架（jungle gym）的发明者，他的姑妈琼·辛顿（Joan Hinton）是曼哈顿计划（Manhattan Project）里的物理学家。在她之前，还有露西·埃弗勒斯（Lucy Everest），她是第一位当选为英国皇家化学研究所成员的女性；查尔斯·霍华德·辛顿（Charles Howard Hinton）是一名数学家，他创造了四维超正方体（tesseract）的概念，这是一个通往四维空间的大门（就是电影《星际穿越》中出现的那个超正方体）；詹姆斯·辛顿（James Hinton），一位开创性的耳外科医生，也是一夫多妻制的倡导者。（据说他曾说过：“基督是男人的救世主，而我是女人的救世主。”）19世纪中叶，辛顿的曾曾祖父、英国数学家乔治·布尔（George Boole）发明了二进制推理系统，即现在的布尔代数（Boolean algebra，也称作“逻辑代数”，是所有计算的基础）。布尔的妻子玛丽·埃弗勒斯（Mary Everest）是一位数学家和作家，也是乔治·埃弗勒斯（George Everest），一位测绘者的侄女。珠穆朗玛峰（Mt. Everest）就是以乔治的名字命名的。

“杰夫生来就是搞科学的，”辛顿以前的学生兼合作者、现在Meta公司负责人工智能的杨立昆（Yann LeCun）告诉我。然而，辛顿的家庭比这更离奇。他的父亲霍华德·埃弗勒斯·辛顿（Howard Everest Hinton）于20世纪10年代墨西哥革命期间在墨西哥长大，在其父亲管理的银矿上工作。“他十分坚强。”辛顿这样评价他的父亲。家族传说，12岁时，霍华德曾威胁要射杀他的拳击教练，因为他的教练太严厉了，教练把他的话当真了，不得不逃离了小镇。霍华德的母语是西班牙语，在伯克利上大学时，他的口音曾被人嘲笑。“他和一群同样受到歧视的菲律宾人混在一起，成为了伯克利的激进分子。”霍华德有着成熟的马克思主义和斯大林主义政治主张。

在学校里，辛顿偏爱科学。但出于意识形态的原因，他的父亲禁止他学习生物学。在霍华德看来，基因决定论的可能性违背了共产主义关于人性终极可塑性的信仰。“我讨厌各种信仰。”辛顿回忆起这段日子时说道。在布里斯托尔大学任教的霍华德就像是昆虫学界的“夺宝奇兵”（Indiana Jones）：他把世界各地的稀奇古怪装在行李中偷运回英国，并编辑了一份该领域的重要期刊。辛顿的中间名也是埃弗勒斯，他为此感受到了巨大的压力，想着必须做出属于自己的成绩。他记得父亲曾对他说：“如果你比我努力一倍，当你的年纪也是我的一倍时，你可能只有我一半成功。”

在剑桥大学，辛顿尝试过不同的专业，但他沮丧地发现自己从来都不是班上最聪明的学生。他曾短暂离开大学去“阅读令人沮丧的小说”，并在伦敦打零工，后来又回来尝试建筑学，然而只做了一天。最后，他涉猎了物理、化学、生理学和哲学，尝试专注于一样东西，于是选择了实验心理学学位。他常在道德哲学家伯纳德·威廉姆斯（Bernard Williams）的办公室里“出没”，发现自己对计算机和心灵很感兴趣。有一天，威廉姆斯指出，我们不同的思想一定反映了我们大脑中不同的物理排列，这与计算机中的情况完全不同，在计算机中，软件独立于硬件。辛顿被这一观察所震撼。

他记得在高中时，一位朋友曾告诉他，记忆可能是以“全息”的方式存储在大脑中的。也就是说，尽管记忆是分散的，却可以通过任何一个局部访问整体。他所遇到的是“连接主义（connectionism）”——一种结合神经科学、数学、哲学和编程的方法，旨在探索神经元如何协同合作来完成“思考”。连接主义的目标之一，是在计算机中创建一个类似大脑的系统。这在当时已经取得了些许进展：1950年代，心理学家、连接主义先驱弗兰克·罗森布拉特（Frank Rosenblatt）制造了一台机器，名为“感知机”（Perceptron），它用简单的计算机硬件模拟了一个由数百个神经元组成的网络。当连接到光学传感器时，该设备可以追踪不同模式的光线激活了哪些人工神经元，从而识别字母和形状。

在小屋里，辛顿站了会儿，然后在一楼厨房柜台后面来回踱步。他做了些吐司，给我们每人拿了个苹果，然后用脚踏凳为自己支起了一张小桌。家庭的压力使他无法获得短暂的满足。“我一直很喜欢木工活，”我们吃东西时，他俏皮地回忆道，“在学校，你可以在晚上自愿做木工。我经常想，如果我成了一名建筑师，是否会更快乐，因为我不必强迫自己去做这些事。而对于科学，我总是不得不强迫自己。因为家庭的原因，我必须成功，我必须有出路。这其中有快乐，但更多的是焦虑。现在我成功了，这让我感到无比欣慰。”

辛顿的笔记本电脑叮咚作响。自从他离开谷歌后，他的收件箱里就不断收到让他对人工智能发表评论的请求。他走过去看了看邮件，然后又迷失在族谱的森林里，所有这些族谱似乎都存在这样或那样的问题。

“看看这个。”他说。

我走过去看了看屏幕。这是一份“学术族谱”，辛顿在最上面，下面排列着他的学生和他学生的学生。这棵“树”非常宽广，他必须横向滚动鼠标才能看到自己的影响范围之广。“哦，天哪，”辛顿一边研究学术族谱一边说，“她其实不是我的学生。”他再次滚动鼠标，“他才华横溢，却不善于当顾问，因为他自己总能做得比别人更好。”辛顿是一位精心培育人才的人，他似乎很享受被学生超越的感觉。在评估求职者时，他经常问他们的导师：“所以他们比你强吗？”回忆起1977年去世的父亲，辛顿说：“他极其好胜。我时常在想，如果他在我身边看到我取得这番成功，他会不会感到高兴。因为现在的我比他更成功。”

根据谷歌学术的数据，辛顿现在是心理学家中被引用次数第二多的研究者，也是计算机和认知科学家中被引用次数最多的人。如果说他在剑桥大学的起步是缓慢而异乎寻常的，那要归咎于他当时正在研究一个新兴领域。他合上笔记本电脑说道：“当时在好大学里做神经网络的人很少。你在麻省理工学院做不了，在伯克利做不了，斯坦福也不行。”辛顿成为了一个新生网络的枢纽，也有好处。多年来，许多顶尖的人才都来找他。

玻尔兹曼机

“今天天气真好，”第二天早上，辛顿说，“我们应该去砍一棵树。” 他穿着一件塞进卡其裤里的正装衬衫，看起来并不太像伐木工人。不过，他还是搓了搓手。在岛上，他总是在砍树，来为岛屿创造更有序、更美丽的风貌。

这栋房子其实也尚未完工，很少有承包商愿意跑到这么偏远的地方来。辛顿雇来的人也犯了一些不必要的失误（把排水管接到上坡上、地板做到一半不做了），这至今仍让他愤愤不平。几乎每个房间都有一个需要修正的小项目，在我参观的时候，辛顿已经在建筑材料上做了一些小标注，来帮助新的承包商。这些标注通常直接写在建筑材料上面。在一楼的浴室里，靠墙的一块底板上写着：“浴室应使用这种底板（仅限淋浴器前的枫木装饰）。”在客房的壁橱里，遮蔽胶带沿着架子延伸过去：“请勿为搁板打底，而应为搁板的支架打底。”

给事物贴标签对大脑也很有用，它能帮助大脑把握现实。但是，贴标签对人工的心智意味着什么呢？当辛顿在爱丁堡大学获得人工智能博士学位时，他思考了如何在计算机中模拟大脑中的“认知”。当时，也就是1970年代，绝大多数人工智能研究人员都是“符号学派（symbolists）”。在他们看来，对番茄酱的认识可能涉及诸多概念，如“食物”“酱汁”“调味品”，“甜味”“鲜味”“红色”“西红柿”，“美国人”“炸薯条”“蛋黄酱”和 “芥末”。这些概念掺杂在一起，就形成了“番茄酱”这样一个新的概念。有一个资金雄厚的大型人工智能项目名为Cyc，其核心是建立一个庞大的知识库，科学家们可以使用一种特殊的语言，将概念、事实、规则以及不可避免的例外情况输入其中（比如，鸟会飞，但企鹅、翅膀受损的鸟却……）。

但是，辛顿对这种方法存疑。它似乎过于僵化，过于专注于哲学家和语言学家所持有的推理能力。他知道，在自然界中，许多动物在不拥有可以用语言表达的概念时，也能做出智能行为。它们只是通过经验学会了如何变得聪明。智慧的源泉是学习，而非知识。

人类的复杂思维似乎往往是通过符号和文字进行的。但是，辛顿和他的合作者詹姆斯·麦克利兰（James L. McClelland）以及戴维·鲁梅尔哈特（David Rumelhart）认为，很多行为都发生在子概念（sub-conceptual）层面。他们写道：“请留意，如果你了解到关于某个事物的新事实，你对其他类似事物的预期也往往会发生变化。”

例如，如果你被告知黑猩猩喜欢洋葱，你可能会猜测大猩猩也喜欢洋葱。这表明，知识很可能“分布”在大脑中，由相关想法间共享的小模块组成。“黑猩猩”和 “大猩猩”这两个概念不会有两个独立的神经元网络，相反，表征各种具体或抽象“特征”的神经元束——茸毛、四足的、灵长的、动物的、智力、野性等等，可能会以一种方式被激活，以表征“黑猩猩”，而以略微不同的方式被激活，表征“大猩猩”。这些特征之外，我们还可以加上“洋葱头”等特征。这样构建的大脑有可能陷入混乱和错误：将各种特征以错误的排列方式混合在一起，你会得到一个既不是大猩猩也不是黑猩猩的幻想生物。但是，拥有正确学习算法的大脑可能会调整神经元之间的权重，使合理的组合优于不合逻辑的组合。

辛顿不断探索这类想法，先是在加利福尼亚大学圣迭戈分校做博士后（并与乔安妮结婚，辛顿是乔安妮在计算机视觉方向的导师），然后在剑桥大学做应用心理学研究员，再到匹兹堡的卡内基梅隆大学，并在1982年成为计算机科学教授。在那里，他把大部分研究预算都花在了一台足以运行神经网络的计算机上。不久，他第二次结婚，妻子是分子生物学家罗莎琳德·扎林（Rosalind Zalin）。在卡内基梅隆大学，辛顿取得了突破性进展。他与计算机科学家兼神经科学家特伦斯·塞伊诺夫斯基（Terrence Sejnowski）合作，开发出了一种名为“玻尔兹曼机”（Boltzmann Machine）的神经网络。这个系统的名字致敬了路德维希·玻尔兹曼（Ludwig Boltzmann），这位19世纪奥地利物理学家用数学方法，描述了气体在大尺度上的行为，与其组成粒子在小尺度上的行为之间的关系。辛顿和塞伊诺夫斯基将这些方程与“学习理论”相结合。

辛顿不愿向我解释玻尔兹曼机。“我来告诉你这是一种什么感觉，”他说，“这好比你有一个小孩，你带着他去散步。前面有座山，你得把这个小孩带到山顶再折回来。”他看着我（比喻中的孩子）叹了口气。他的担心是对的，我可能会被简化的解释误导，进而误导他人。“试图解释你不理解的复杂想法是没有用的。首先，你必须了解某样东西是如何运作的。否则，这对你都只是些无稽之谈。”最后，他拿起几张纸，开始绘制用箭头连接的神经元图，并写出方程式，我试着理解这些东西（在来拜访前，我在“可汗学院”学习了线性代数课程）。

辛顿建议，有一种理解玻尔兹曼机的方法，是想象一套辨认罪犯用的容貌拼图片：通过这个系统，可以将脸部的各种特征——浓眉、蓝眼睛、歪鼻子、薄嘴唇、大耳朵等等，组合在一起，生成一张类似警察使用的那种合成素描。要让容貌拼图片发挥作用，必须对特征本身进行恰当的设计。通过改变人工神经元之间的连接权重，玻尔兹曼机不仅能学会组合特征，还能学会设计特征。玻尔兹曼机将从杂乱到像电视屏幕上雪花那样的特征开始，然后进行两个阶段：“清醒”和“睡眠”来完善这些特征。在“清醒”时，它会调整这些特征，使它们更符合真实的面孔。在“睡眠”时，它会幻想出一张并不存在的脸，然后修改特征，使这些特征拟合起来更差。

它在梦里告诉自己不该学什么。这个系统非常优雅：随着时间的推移，它能逐渐远离错误，走向真实，不需要有人去告诉它是对还是错。它只需要看见实在，梦见虚幻。

辛顿和塞伊诺夫斯基在1983年的一篇论文中描述了玻尔兹曼机。杨立昆跟我说：“我在研究生刚开始时读到了那篇论文，我说，‘我必须找这些人谈谈，他们是世界上唯一懂得我们需要学习算法的人’。”80年代中期，自然语言处理和计算机视觉领域的先驱、现任魁北克人工智能研究所Mila科学主任的约书亚·本吉奥（Yoshua Bengio），训练了一台玻尔兹曼机来识别口语音节，以此作为他硕士论文的一部分。“杰夫是外审人员之一，”本吉奥回忆道，“他写道：‘这不会成功’。”然而，本吉奥版本的玻尔兹曼机比辛顿预期的更有效，而本吉奥花了几年时间才找出成功的原因。这种模式将变成大家再熟悉不过的那种——在随后的几十年里，神经网络的表现往往比预期的要好，这也许是因为神经元在训练过程中形成了新的架构。本吉奥回忆说：“实验部分的工作先于理论。我们通常是尝试新的方法，看看神经网络自己能产生点什么。”

辛顿说，部分由于罗莎琳德厌恶罗纳德·里根（Ronald Reagan），他们搬到了多伦多大学。他们从拉丁美洲领养了一男一女两个孩子，住在城里的一所房子里。辛顿说：“我是那种一心扑在工作上的，无私奉献的教授。”

罗莎琳德曾为不孕不育而苦恼，也曾与冷酷无情的医生有过不愉快的经历。也许正因如此，当她后来被诊断出患有卵巢癌时，她选择了顺势疗法（homeopathy）*。“这根本说不通，”辛顿说，“不可能你越稀释某些东西，它们反而越厉害。”他不明白一个分子生物学家怎么会赞同顺势疗法。尽管如此，罗莎琳德还是决心自己治疗癌症，即使检查发现肿瘤有柚子那么大，她也拒绝手术。后来，她虽然同意手术，但拒绝化疗，转而寻求愈加昂贵的顺势疗法，先是在加拿大，后来又去瑞士。她患上了继发性肿瘤，要求辛顿卖掉他们的房子，以支付新的顺势疗法费用。他回忆道：“我在那里跟她划清了底线，”辛顿紧眯双眼，痛苦呼之欲出，“我对她说：‘不行，我们不会卖房子。因为如果你死了，我就得照顾孩子们，如果我们有个房子，对他们而言会好得多。’”

*译者注

其理论基础是“用同样的制剂治疗同样的疾病”。

罗莎琳德回到加拿大后立即住进了医院。她坚持了几个月，但直到去世前一天都不肯让孩子们来看她，因为她不想让他们看到自己病得如此之重。在整个病程中，她一直坚信自己很快就会好起来。在描述这一切时，辛顿仍显得痛苦难当：他愤怒、内疚、受伤、困惑。罗莎琳德去世时，辛顿46岁，儿子5岁，女儿3岁。他说：“她伤害了大家，因为她拒绝接受自己即将死去的现实。”

海浪声填满了午后的宁静。强烈的金黄阳光透过房间的落地窗洒了进来，细小的蛛网延伸到窗外，在光线的映衬下显得格外清晰。辛顿站了一阵，收拾好心情。

他说：“我想我得去砍棵树了。”

我们走出前门，沿着小路来到棚屋前。辛顿从其中一个棚子里拿出一把绿色的小电锯和一些安全护目镜。

“罗斯玛丽说过，周围没人的时候我不能砍树，以防砍断胳膊什么的。”他问我，“你以前开过船吗？”

“没有。”我说。

“那我就不会砍掉我的右臂了。”

在卡其裤外面，他绑上了一双防护套鞋。

“我不想给你留下我知道自己在做什么的印象，”他说。“但基本原理是，你在树上砍很多V字，然后树就倒了。”

辛顿穿过小路，来到他心中选定的那棵树旁，一边走一边检查灌木丛中是否有蛇。这棵树是一棵枝繁叶茂的雪松，大概有20英尺高。辛顿抬头看了看树的倾斜方向，然后启动锯子，开始在树干与倾斜方向相反的一侧切割。他取下锯子，又切割了一次，割痕汇聚形成了一个V字形。然后他停了下来，转过身对我解释：“因为树身偏离切口，所以随着你的切入，V字形就会裂开，锯条就不会被卡住。”

辛顿默默地操作着电锯，偶尔停下来擦擦眼眉。太阳毒辣，蚊子从每一个阴暗的角落蜂拥而至。我查看了一下棚子的侧面，那里的蚂蚁和蜘蛛正在进行着不为人知的、无休止的活动。在小路的尽头，水面波光粼粼，这里是个山清水秀的地方。不过，我想我明白辛顿为什么要锯它了：一座可爱的圆形山丘向下延伸到一个平缓的山洞里，如果没有这棵多余的树，光线就可以流入山洞。这棵树是个错误的存在。

最后，他在树的另一侧开始了第二刀，向第一刀倾斜。然后，他来回移动，加深了两道切口，让树变得摇摇欲坠。突然，重力几乎无声无息地占据了上风。大树在自身重量的作用下倾倒，以惊人的柔软姿态倒向洞底。光线射了进来。

反向传播

辛顿爱上了玻尔兹曼机。他希望玻尔兹曼机，或者类似的东西，以真实大脑的学习方式作为基础。“这应该成真，”他告诉我，“如果我是上帝，我会让它成真。”然而，进一步的实验发现，随着玻尔兹曼机的成长，它们往往会因内置的随机性而不堪重负。“杰夫和我对玻尔兹曼机的看法并不一致，”杨立昆说，“杰夫认为它是最漂亮的算法。我却认为它很丑陋。它是随机（stochastic）的，也就是说，部分基于无序性（randomness）。相比之下，我认为反向传播算法（backpropagation）更加简洁。”

从20世纪60年代开始，一些研究人员对反向传播算法进行了探索。就在辛顿与塞伊诺夫斯基合作研究玻尔兹曼机的同时，他还与鲁梅尔哈特和另一位计算机科学家罗纳德·威廉姆斯（Ronald Williams）合作研究反向传播。他们怀疑这种技术在学习方面具有尚未开发的潜力，他们尤其希望将其与跨越多层运行的神经网络结合起来。

理解反向传播的一种方法，是想象一个卡夫卡式的司法系统。把神经网络的上层想象成一个陪审团，它们永远审理着案件。在陪审团刚做出判决时，在反向传播的反乌托邦世界里，法官可以告诉陪审员，他们的判决是错误的，他们将受到惩罚，直到他们改过自新。陪审员们发现，他们当中有三人在引领大家走上错误的道路时影响特别大。这种责任分摊是反向传播的第一步。

下一步，这三个头脑发热的陪审员要确定他们自己是如何被误导的。他们会考虑自己受到的影响——父母、老师、专家学者等，并找出误导他们的人。反过来，这些应受指责的影响者也必须找出他们的影响者，并在那些影响者之间分摊责任。随后是一轮又一轮的相互指责，每一层影响者都要求自己的影响者承担责任，这就是一个反向的连环套。最后，一旦知道谁误导了谁，误导了多少，神经网络就会按比例地进行自我调整，让每个人少受一点“坏”影响，多受一点“好”影响。整个过程以数学上的精确度一次又一次地重复，直到所有判决（不仅仅是在这个案例中，而是在所有案例中）都尽可能地“正确”。

1986 年，辛顿、鲁梅尔哈特和威廉姆斯在《自然》杂志上发表了一篇长达三页的论文，展示了这种系统如何运行于神经网络中。他们指出，与玻尔兹曼机一样，反向传播并不是一个“大脑学习的合理模型”*：与计算机不同，大脑不能倒带以审核其过去的表现。但反向传播仍能实现类似大脑的神经特性（neural specialization）。在真实的大脑中，神经元有时会排列成旨在解决特定问题的结构：例如，在视觉系统中，不同“列”的神经元能识别我们所看到事物的边缘。反向网络中也有类似的情况：高层神经元会对低层神经元施加一种演化压力（evolutionary pressure）。其结果是，比如负责破译笔迹的神经网络的某些层，可能会变得专注于识别线条、曲线或边缘。最终，整个系统可以发展出“适当的内部表征”。神经网络会了解并利用自己拥有的知识。

*译者注

近年有些研究者认为，大脑也有能力执行反向传播算法，见曾发表于《自然综述-神经科学》的《大脑中的反向传播》， 神经现实已全文翻译，点击蓝字即可跳转阅读。

在20世纪50、60年代，“感知机”和其他连接主义研究成果曾反响巨大。但在随后的几年里，人们对连接主义的热情逐渐退却。反向传播论文是兴趣复苏的功臣之一，它赢得了广泛关注。但由于实践和概念上的原因，构建反向传播网络的工作进展缓慢。从实际上讲，这是由于计算机发展迟缓。“反向传播的进展速度基本上取决于计算机一夜之间能学会多少东西。”辛顿回忆道，“答案往往是学不了多少。”在概念上，神经网络是神秘的，因为它不可能用传统的方法编程，你无法编辑人工神经元之间连接的权重。而且不论怎样，你都很难理解权重的含义，因为它们会通过自我训练不断调整和改变。

反向传播的学习过程也存在很多易错点。例如，在“过拟合（overfitting）”的过程中，网络会选择记住训练数据，而不是学习从数据中归纳总结。避免各式各样的陷阱往往不那么简单，因为这完全取决于网络自身。这就像砍树一样：研究人员可以在这里或那里进行切割，但随后树会倒向哪里完全由树决定。研究人员可以尝试“集成学习（ensembling）”（将弱网络组合成强网络）或“提前停止（early stopping）”（让网络学习，但不要学得过多）等技术，他们也可以利用玻尔兹曼机对系统进行“预训练（pre-train）”，让它预习一些知识，然后在此之上建立一个反向传播网络。这样，系统要等到掌握了一些基本知识后才开始“监督（supervised）”训练。随后，他们才让神经网络自由学习，希望它能达到他们期望的要求。

新的神经网络“架构”也应运而生。“循环（recurrent）”和“卷积（convolutional）”网络让系统以各方各式在自身工作的基础上取得进步。但是，研究人员仿佛发现了一种来自外星的技术一般，并不知道如何去使用神经网络。他们把魔方转来转去，试图乱中求序。“我一直坚信神经网络不是无稽之谈，”辛顿说，“它对我来说并不是信仰，而是显而易见的。”大脑利用神经元进行学习，因此，通过神经网络进行复杂的学习也一定是可行的。他将以双倍的努力工作和双倍的时间来证明这点。

当网络通过反向传播进行训练时，它们需要被告知何时出错以及错了多少，这就需要大量准确标记的数据，让网络能够知道手写体“7”和“1”之间的区别，或金毛猎犬和红猎犬之间的区别。但很难找到足够大且标记准确的数据集，建立更多的数据集也很困难。杨立昆和他的合作者开发了一个巨大的手写数字数据库，后来他们用这个数据库训练出了能够读取美国邮政服务公司提供的邮政编码样本的神经网络。斯坦福大学一位名叫李飞飞（Fei Fei Li）的计算机科学家带头开发了一个名为ImageNet的庞大数据库。创建该数据库需要收集超过1400万张图片，并手工将其分为2万个类别。

随着神经网络规模的不断扩大，辛顿想出了一种方法：将大型网络中的知识转化为小型网络（小到可在手机等设备上运行）中的知识。他在厨房解释说：“这叫知识蒸馏（distillation）。在学校时，美术老师会给我们看一些幻灯片，然后说：‘这是鲁本斯，那是梵高，这是威廉·布莱克。’但假设美术老师告诉你：‘好吧，这是提香·韦切利奥，但这是一个奇特的提香，因为它的某些方面很像拉斐尔，这对提香来说非同寻常。’这样似乎对你更有帮助。他们不仅告诉你正确答案，而且告诉你其他似是而非的答案。”在“蒸馏学习”中，一个神经网络为另一个神经网络提供的不仅仅是正确答案，还有一系列可能的答案及其概率。这是一种更为丰富的知识。

罗莎琳德去世几年后，辛顿与艺术史学家杰奎琳·福特（Jacqueline Ford，以下称作杰姬）重逢。辛顿在搬到美国去之前曾和她短暂约会过。她有教养、热情、富有好奇心、漂亮。辛顿的姐姐说：“你跟她比可差远了。”尽管如此，杰姬还是放弃了在英国的工作，与辛顿一起搬到了多伦多。1997年12月6日，他们结婚了，那天是辛顿50岁生日。接下来的几十年是他一生中最幸福的时光，他的家庭又重获完整。他的孩子们喜欢他们的新妈妈，他和杰姬开始探索乔治亚湾的岛屿。回忆起这段时光，他凝视着客厅里的独木舟。他说：“我们在树林里发现了这艘独木舟，它倒立着，上面覆盖着帆布，已经完全腐烂了，所有的东西都腐烂了。但杰姬还是打算救它，就像她救我和孩子们一样。”

辛顿并不喜欢反向传播。他告诉我：“这在智力上是多么令人不满啊。与玻尔兹曼机不同，它是完全确定（deterministic）的。不幸的是，它的确更好用。”慢慢地，随着实际的进展，反向传播的威力变得不可否认。辛顿告诉我，1970年代初，英国政府聘请了一位名叫詹姆斯·莱特希尔（James Lighthill）的数学家来确定人工智能研究是否有成功的可能。莱特希尔的结论是不可能。“他是对的，”辛顿说，“前提是他做了一个当时大家一致认同的假设：计算机的速度也许会快一千倍，但不会快十亿倍。”辛顿在脑子里算了一笔账，假设在1985年，他开始在一台极快的研究计算机上运行一个程序，一直运行到现在，然后现在他开始在目前人工智能领域使用的最快系统上运行相同的程序，只需要不到一秒钟的时间就能赶上前一个。

2000 年初，随着配备着强大计算机的多层神经网络开始在更大的数据集上进行训练，辛顿、本吉奥和杨立昆开始谈论“深度学习”的潜能。2012年，辛顿、亚历克斯·克里泽夫斯基（Alex Krizhevsky）和伊尔亚·苏茨克维（Ilya Sutskever）推出了AlexNet，这是一个8层神经网络，终于能够识别出ImageNet中的物体，且准确率达到人类水平。辛顿、克里泽夫斯基和苏茨克维成立了一家公司，并将其卖给了谷歌。他和杰姬用这笔财富买下了乔治亚湾的一座小岛。“那是我一次真正的放纵”，辛顿说。

两年后，杰姬被诊断出患有胰腺癌。医生估计她还能活一两年。“她非常勇敢，也非常理性，”辛顿说，“她并没有极力否认，拼命想摆脱困境。她的观点是‘我可以自怜自悯，也可以说我时日无多，我应极力享受这段时光，让其他人一切安好’。”在决定治疗方法之前，她和辛顿仔细研究了统计数据。通过化疗，她将一两年的时间延长到了三年。在小别墅里，当她无法再走楼梯时，辛顿用绳子编了一个小篮子，这样她就可以把茶从二楼放到一楼，然后他可以用微波炉加热。(他后来发现：“我应该把微波炉直接搬楼上去的。”）

这天的晚些时候，我们靠在辛顿的办公桌上，他用笔记本电脑给我看杰姬的照片。在一张他们婚礼当天的照片中，她和辛顿带着孩子们站在邻居家的客厅里交换誓言。辛顿看起来神采奕奕、放松舒适。杰姬用双手轻轻握住他的一只手。在他给我看的最后一张照片中，她在码头附近斑驳的水面上划着酒红色的独木舟，凝视着镜头。“那是2017年的夏天。”辛顿说。杰姬于次年4月去世。那年6月，辛顿、本吉奥和杨立昆获得了“图灵奖”（相当于计算机科学领域的诺贝尔奖）。

辛顿坚信，神经网络确实能够产生感情。“我认为感情是一种关于‘某种东西会导致某种行为’的反事实陈述，”那天早些时候，他对我说，“比方说，我想给某人鼻子一拳。我的意思是：如果我没有社交抑制（social inhibitions），如果我没有阻止自己这么做，我就确实会给他一拳。所以，当我说‘我觉得很生气’时，这其实是‘我想做出攻击行为’的缩影。情感只是一种陈述行动意向的方式罢了。”

他告诉我，1973年他曾见过一个“懊恼的人工智能”。当时，一台计算机连接着两台电视摄像机和一个简单的机械臂。该系统的任务是将摊在桌子上的一些积木组装成一辆玩具汽车。他说：“这很难，尤其是在1973年。如果这些积木是分开的，视觉系统就能识别它们，但如果把它们堆在一起，视觉系统就无法识别它们。那么它是怎么做的呢？它把积木往后抽了一点，然后“砰！”的一声，把它们丢落在桌子上。基本上，它无法处理正在处理的东西，所以暴力地改变了它。如果一个人这么做了，你会说他很懊恼。计算机无法看到正确的积木，所以就猛砸它们。”拥有感受其实就是去渴望你求不得之物。

“我爱这所房子，但有时这也是一个令人悲伤的地方，”当我们看照片时他说，“因为她曾喜欢待在这里，如今却不在了。”

太阳已快落山，辛顿打开办公桌上的一盏小灯。他合上电脑，推了推鼻梁上的眼镜，挺了挺肩膀，把思绪拉回现实。

他说：“我想让你知道罗兹（即罗莎琳德）和杰姬的事，因为她们是我生命中重要的一部分。但实际上，这也与人工智能息息相关。人们对人工智能通常持两种态度，一种是否认，一种是听天由命。每个人对人工智能的第一反应都是‘我们必须阻止它’。就像每个人对癌症的第一反应是‘我们该切除它’。但重要的是，我们要认识到‘切除它’只是一种幻想。”

他叹了口气。“我们不能去否认，我们必须认清现实。我们需要思考：如何才能让人工智能不那么糟糕地对待对人类？”

未来的样貌

人工智能到底有多有用，或者说，有多危险？没人知道，部分原因是神经网络太奇怪了。在20世纪，许多研究人员都想制造出模拟大脑的计算机。但是，尽管神经网络（如OpenAI的GPT模型）涉及数十亿个人工神经元（在这方面与大脑相似），但它们实际上与生物大脑有着天壤之别。如今的人工智能都是基于云计算，被安置在耗电量达到了工业规模的数据中心里。它们在某些方面懵懵懂懂，在另一些方面却天赋异禀。它们为数百万用户提供推理服务，但却要依赖用户的提示词。它们毫无生机。它们很可能已经通过了图灵测试 [这个由计算机先驱阿兰•图灵（Alan Turing）制定的标准一直以来都备受赞誉，该标准认为，任何能够令人信服地模仿人类对话的计算机都可以被合理地认为是会思考的] 。然而，我们的直觉告诉我们，驻留在浏览器标签页中的任何东西都不可能真正以我们的方式进行思考。这些系统迫使我们追问，我们的思考方式是否是唯一的。

在谷歌工作的最后几年里，辛顿把工作重心放在使用更接近大脑的硬件来创造更接近传统心智的人工智能上。在当今的人工智能中，人工神经元之间的连接权重是以数字形式存储的，这就好比大脑在不断地记录自己的信息。而在实际的大脑中，权重是内置于神经元之间的物理连接中的。辛顿想利用特殊的计算机芯片，努力创造出这一系统的人工版本。

他对我说：“如果这能完成，那将会非常了不起。”芯片可以通过改变“电导”来学习。由于这种方法将权重集成到硬件中，因此不可能从一台机器复制到另一台机器*，每个人工智能都必须独自学习。“它们必须像学生一样自己去上学，”他说，“但好处是，你从使用一兆瓦的功率变为了使用30瓦的功率。”说话时，他身体前倾，眼睛盯着我：我仿佛瞥见了传道者辛顿。

*译者注

传统方法以数字形式存储权重，因此可被复制，详见下文的“数字智能”。

因为每个人工智能所获得的知识都会在被拆解时丢失，所以他把这种方法称为“凡人的计算”。“这种方法让我们放弃了永生，”他说，“但在文学作品中，你总会为了心爱的女人放弃成为永生的神，不是吗？在这种情况下，我们会得到比‘永生’更为宝贵的东西，那就是能源效率。”此外，能源效率还能鼓励“个性化（individuality）”：因为人脑可以仅靠麦片提供的能量运行，所以这个世界才能支持数十亿个各不相同的大脑。每个大脑都可以持续地学习，而不是训练一次，然后就丢到全世界。

作为一项科学事业，这种“凡人”人工智能可能会让我们离复制自己的大脑更近。但辛顿遗憾地认为，数字智能似乎更强大。他说，在模拟智能中，“如果大脑死了，知识也就死了。”相比之下，在数字智能中，“如果某台计算机死了，同样的连接强度可以用在另一台计算机上。而且，即使所有的数字计算机都死了，如果你把连接强度储存在某个地方，你就可以再制造一台数字计算机，并在这台数字计算机上运行相同的权重。一万个神经网络可以同时学习一万种不同的东西，然后一起分享它们所学到的东西。” 他说，这种不朽性和可复制性的结合表明，“我们有理由担心数字智能会取代生物智能”。

我们应如何描述一个没有肉体、没有个体认同的数字智能体的精神生活？最近几个月，一些人工智能研究人员开始将GPT称为“推理引擎”。这也许是为了摆脱“思考”一词，而我们却一直在努力定义“思考”。本吉奥告诉我：“人们指责我们使用这些词汇：‘思考’‘知道’‘理解’‘决定’等等。但尽管我们并不完全了解这些词的含义，它们提供的类比仍能非常有效地帮助理解我们的所作所为。它帮助我们阐述和探索‘想象力’‘注意力’‘规划’‘直觉’等词。我们所做的很多事情都是在解决心灵的‘直觉’问题。”

直觉可以理解为我们无法解释的想法：我们的大脑通过将当前遇到的事情与过去的经验联系起来，在不知不觉中为我们生成了这些想法。我们倾向于理性而非直觉，但辛顿认为，我们的直觉比我们认为的要更强。他告诉我：“多年来，符号学派的人工智能主义者说我们的真正本质是‘推理机器’。我认为这是无稽之谈。我们的真正本质是‘类比机器’，只是在此基础上建立了一点推理能力，当类比给出错误答案时，我们会注意到并加以纠正。”

总体而言，当前的人工智能技术是巧舌如簧的、过于理性的：它在处理物理世界的直观事物上却磕磕绊绊。杨立昆告诉我：“任何青少年都可以在几乎无人监督的情况下，通过20个小时的练习学会驾驶汽车。任何一只猫都能跳上一系列家具，爬到某个架子的顶端。如今，除了自动驾驶汽车，我们还没有任何人工智能系统能接近做到这些事情。”而且这些系统都被过度设计，需要“绘制整个城市的地图、数百名工程师、数十万小时的培训”。解决物理直觉这样棘手的问题“将是未来十年的巨大挑战”。不过，道理还是很简单：如果神经元能做到，那么神经网络也能做到。

辛顿认为，人们对人工智能的怀疑尽管令人欣慰，但这种怀疑的动机往往是出于对“人类卓越论”（human exceptionalism，即认为人类生来与众不同）的无端信任。研究人员抱怨说，人工智能聊天机器人会“制造幻觉（hallucinate）”，对那些让它们感到棘手的问题编造出似是而非的答案。但辛顿对这种说法提出了质疑：“我们应该用‘编造（confabulate）’这个词，”他告诉我，“‘致幻’是有感觉输入时才存在的——听觉幻觉、视觉幻觉、嗅觉幻觉。但如果只是胡编乱造，那就只是混淆而已。”他引用了理查德·尼克松（Richard Nixon）总统的白宫顾问约翰·迪恩（John Dean）的案例，迪恩在知道他的谈话被录音了之前，就水门事件接受了采访。迪安信口开河，故意弄错细节，混淆谁说了什么没说什么。“但其大意都是对的，”辛顿说，“他回忆起了当时的情况，并把这种回忆强加给了他头脑中的一些人物。他捏造了一个小剧本。人类的记忆就是这样。在我们的脑海中，胡编乱造和实话实说本来就是没有界限的。说真话其实只是编造了正确的故事，因为一切都在你的权衡之中，不是吗？”从这个角度来看，ChatGPT的编造能力是一个缺陷，但同时也是它象征人类智慧的标志。

经常有人问辛顿是否后悔自己的工作。他不后悔。[他最近给一位记者发了一句话：“给你一首歌”，并附上了伊迪丝·琵雅芙（Edith Piaf）的《我无怨无悔》（Non, Je Ne Regrette Rien）的链接] 。他说，当他开始研究时，没人想过这项技术会成功；即使开始成功了，也没人想到它会成功得如此之快。正因为他觉得人工智能是真正的智能，所以他期望人工智能会在众多领域做出贡献。然而，他时而也会忧心忡忡，比如，他担心有权有势的人会滥用它。他认为自动化武器（美国军方正在积极地研发这种武器）应被取缔，但他警告说，即使是良性的自动化系统也可能造成严重破坏。“如果你想让一个系统发挥效力，就必须让它有能力创建自己的子目标。现在的问题是，有一个非常普遍的子目标几乎适用于实现所有目标：获得更多的控制权。我们要研究的问题是：如何防止人工智能抢夺控制权？没有人知道答案。”（他指出，“控制”并不一定是物理意义上的：“就像特朗普可以用语言入侵国会大厦一样。”）

在这一领域，大家对辛顿的观点见仁见智。杨立昆告诉我：“我并不害怕人工智能。我认为，如果我们设计它们，从而使它们的目标与我们的目标相一致，这会相对容易一些。”他接着说，“有人认为，如果一个系统是智能的，它就会想要主宰一切。但支配欲望与智力无关，而是与睾丸激素有关。”我想起了在小屋里看到的蜘蛛，以及它们的网是如何布满辛顿的窗户表面的。它们也不想称霸，然而它们的昆虫智慧却让它们扩张了领地。没有统一大脑（centralized brains）的生命系统，比如蚂蚁群落，并不“想要”做任何事情，但它们仍然能觅食，溯河而上，围剿竞争对手。无论是辛顿还是杨立昆都可能是对的。人工智能的蜕变还没有完成，我们不知道它会变成何种模样。

“为什么不直接拔掉它们的插头呢？”我问了辛顿一个关于人工智能的大众化问题，“难道这个问题荒诞不经吗？”

他说：“这种说法确实不是强词夺理：即没有某种事物我们会过得更好——但付出这种代价并不值当。就像我们没有化石燃料会更好一样，但我们会变得更加原始，所以可能不值得冒这个险。”他委婉地补充道，“这是不可能发生的。因为社会就是这样，不同国家之间会存在竞争。如果联合国真的起作用了，也许可以阻止这样的事情发生。尽管如此，人工智能还是非常有用的。它在医学等领域有很大的潜力，当然，也可以通过自动化武器为一个国家带来优势。”所以今年早些时候，辛顿拒绝在一份呼吁“至少暂停人工智能研究6个月”的民众请愿书上签字。

“那我们该如何是好？” 我问道。

“我也一筹莫展，”他说，“如果这就像全球变暖一样，人们可以说，听着，我们要么停止燃烧碳，要么找到一种有效的方法来清除大气中的二氧化碳。我们心中知道解决方案长什么样。而在人工智能领域，情况并非如此。”

辛顿穿着一件蓝色的防水外套，我们正准备去码头接罗斯玛丽。“她带来了补给品！”他微笑着说。当我们走出门时，我回头看了看小屋。在大房间里，酒红色的独木舟在阳光的抚摸下闪闪发光。椅子在独木舟前摆成半圆形，透过窗户面朝水面。小桌上堆放着一些杂志。这是一座美丽的房子。人类的思维不仅仅是理性，它也存在于时间之中，与生死共存，并围绕自身构建一个世界。它聚集了众多意义，就像有重力相助。我想，人工智能或许也能想象出这样一个地方。只是，它需要这样的地方吗？

我们沿着林间小道，穿过棚屋，沿着台阶下到码头，然后爬上辛顿的船。在动人的蓝天下，轻风拂过水面。辛顿站在舵轮旁，我坐在船前，看着岛屿缓缓经过，心里想着关于人工智能的故事。对有些人来说，这是一个哥白尼式的故事，在这个故事里，我们觉得“人类思维是特殊的”这一直觉正被会思考的机器所颠覆。对另一些人来说，这是一个普罗米修斯式的故事，我们盗了天火，却冒着被烧死的危险。有些人认为我们在自欺欺人，被自己所制造的机器和希望从中获利的公司所愚弄。从一个新奇的角度来看，这也可能是一个关于人类局限性的故事。如果我们是神，我们可能会制造出另一种人工智能。而在现实中，我们仅能驾驭当前这个版本的人工智能。同时，我不禁从伊甸园的角度来思考这个故事。通过在头脑中重建知识系统，我们抓住了禁果。现在，我们冒着被放逐出伊甸园的风险。但是，又有谁会选择不去了解“了解”本身是如何运作的呢？

在码头，辛顿利用风力加速前进、转弯、引导自己进入船位，如鱼得水。“我在学了！”他自豪地说。我们走上岸，在一家商店旁等待罗斯玛丽的到来。过了一会儿，辛顿进去买灯泡。我站在那里，享受着温暖，然后看到一个身材高挑、眼睛明亮、留着长长白发的女人从停车场大步向我走来。

罗斯玛丽和我握了握手，然后，她从我肩上瞥过去。辛顿正从商店附近的绿树丛中走出来，咧嘴笑着。

“你的葫芦里卖的什么药？”她问。

辛顿举起一条黑黄相间的乌梢蛇，大概有一米长，像弹簧一样一圈又一圈地扭动着。“我带着礼物来了！”他用英勇的口吻说，“我在灌木丛里找到的。”

罗斯玛丽开心地笑了，转过身来对我说：“这真是典型的他。”

“它怏怏不悦。”辛顿观察着蛇说。

“如果被抓的是你，你会开心吗？” 罗斯玛丽问。

“我对它的脖子小心翼翼，”辛顿说，“脖子很脆弱。”

他把蛇从一只手换到另一只手，然后伸出第一只手掌。手掌上沾满了蛇黏糊糊的麝香。

他说：“来闻一下。”

我们轮流闻了闻。这味道很奇怪：矿物味、辛辣味、爬行动物味和化学味，毫无疑问是生物的味道。

“你弄得衬衫上到处都是！”罗斯玛丽说。

“可我必须抓住它呀！” 辛顿解释道。

他把蛇放下，蛇一跐溜进了草丛。他心满意足地看着它离去。

他说：“好啦，今天天气真好。我们要勇敢地去户外穿越吗？”

作者：Joshua Rothman

译者：Lemon |  审校：绒球兔纸

排版：绒球兔纸  | 封面：Call Me Death From Above

原文：

https://www.newyorker.com/magazine/2023/11/20/geoffrey-hinton-profile-ai‌