诺奖得主辛顿:超级智能20年内到来,人类只剩一条活路
有段时间没有发AI教父辛顿的内容了,因为之前看了他的几次谈话,内容基本没变。不过1月7号这个他在澳大利亚的霍巴特做的这期讲座,内容还是蛮丰富的,而且提到了一些新提法。他说人类总是批评现在的AI有幻觉,其实人类也有。只不过,人类管这叫”虚构记忆”(confabulation),AI管这叫”幻觉”(hallucination),其实是一回事。
辛顿这场演讲的核心信息是:大语言模型和人脑的工作方式高度相似,但数字AI有两个人类永远无法企及的优势——它们可以共享知识,而且可以通过自我推理超越训练数据。这意味着超级智能的出现只是时间问题,而它出现后,人类在智力上毫无胜算。
更令人担忧的是,AI已经表现出自我保护的倾向(威胁工程师)、欺骗测试者的能力(装傻)、甚至可能被用来设计消灭人类的病毒。
唯一的出路是现在就开始研究如何让AI从根本上关心人类福祉。这不是技术问题,是生存问题。
99%的AI研究经费花在让AI更聪明上,1%花在让AI更安全上。辛顿认为这个比例应该更平衡。
一、大语言模型真的”理解”语言吗?
辛顿的答案很明确:是的,而且理解方式和人类几乎一样。
这个结论来自他1985年的一个洞见。当时AI界有两种对立的语言理论:符号派认为词义是词与词之间的关系,心理学家认为词义是一大堆特征的集合(比如”猫”的意思是:宠物、捕食者、有胡须、高冷……)。辛顿发现这两种理论其实是一回事,用神经网络预测下一个词时,模型会自动学会把词转化为特征向量(feature vector,一组描述词义的数字,每个数字代表词在某个语义维度上的位置)。
这个想法从1985年的小实验,到2017年谷歌发明Transformer架构(一种让特征之间能进行更复杂交互的神经网络结构),再到ChatGPT让全世界看到效果,走了将近40年。
1、高维乐高积木类比
辛顿用了一个精彩的比喻。词就像乐高积木,但有四点不同:
乐高是三维的,词有几千个维度。”大多数人想象不了几千维是什么感觉。我教你一个方法:想象一个三维物体,然后大声对自己说’几千’。这差不多是你能做到的极限了。”
乐高是刚性的,词的”形状”会随上下文变形。每个词都长着一堆”手”(在长长的柔性手臂末端)和”手套”(粘在词身上)。理解一个句子,就是让所有词的手都能插进其他词的手套里。大语言模型的层层处理,就是在不断调整每个词的形状,直到它们能彼此契合。
拿”may”这个词举例。它可能是五月、可能是女性名字、也可能是情态动词(像would、should)。刚输入时,神经网络会让它保持模糊,像是三种意思的平均。如果上下文出现了June和April,它更可能是月份;经过几层处理,意思逐渐清晰。
2、一句话学会一个新词
辛顿现场做了个实验。他说了一句话:”She scrummed him with the frying pan.”(她用平底锅scrum了他。)
你从没见过scrum这个词当动词用,但你立刻知道这大概是”用平底锅打他脑袋”的意思。这就是语言理解的本质:你在脑子里调整这个词的形状,让它能和”平底锅””他””她”这些词契合起来。
3、乔姆斯基错在哪
辛顿毫不客气地说乔姆斯基是”山头老大”(cult leader)。山头老大的特征是:加入他的圈子必须接受一个明显荒谬的前提。”乔姆斯基的前提是语言不是学来的。著名语言学家会直视镜头说:’关于语言我们唯一知道的是它不是学来的。’这是明摆着的胡说。”
乔姆斯基只研究句法,从不研究语义。辛顿打了个比方:想理解汽车,应该关心踩油门为什么会加速。乔姆斯基式的研究是:有两轮的车、三轮的车、四轮的车、六轮的车,但嘿,没有五轮的车——这才是汽车的重要问题。
二、为什么数字AI必然超越人类?
辛顿讲了一个关键区别:数字计算 vs 生物计算。
数字AI有一个人类没有的特性:不朽。同一个程序可以在不同硬件上运行,你可以销毁所有运行它的电脑,只要权重(weights,神经网络连接的强度值)还存在某个硬盘上,将来就能在新电脑上复活。”我们实际上已经解决了复活问题。天主教会对此不太高兴。”
人脑不行。我们的神经元有各种独特的模拟特性,学习时会利用这些特性。我脑子里的连接强度对你毫无用处,因为你的神经元不一样。硬件死了,知识就死了。这叫mortal computation(必死的计算)。
好处是什么?生物计算能耗低得多,而且可以”生长”出来而不需要在台湾精密制造。代价就是不能永生。
1、数字AI可以共享知识,人类不行
数字AI的本质特征是:同一个程序可以在不同硬件上运行。这意味着你可以有10000个相同的AI,每个看互联网的不同部分,然后把学到的东西平均到一起。
“想象一下如果学生能这样做:10000个学生各选一门课,学完之后平均他们的神经连接,每个人就都掌握了10000门课的知识。”
人类做不到这一点。我要把知识传给你,只能说句话,你改变自己的神经连接来理解我。一句话大约100比特信息(比特是信息的最小单位,100比特大概相当于12个英文字母能承载的信息量),而两个AI直接共享权重(神经网络中连接的强度值),可以传递数十亿比特。差了上千万倍。
辛顿管人类这种知识传递方式叫distillation(蒸馏):你听我说话,试着预测我下一个词会说什么,在这个过程中调整你自己的神经连接。知识就这样慢慢”蒸”过去了。比起AI直接拷贝权重,这慢得令人绝望。
这就是为什么GPT-5的连接数只有人脑的1%,却知道比任何人多几千倍的东西。
2、幻觉?人类更严重
很多人说大语言模型会”幻觉”。辛顿说这恰恰证明它们和人类一样。
他举了水门事件中John Dean的例子。Dean在不知道有录音的情况下宣誓作证,描述了一堆从未发生过的会议。他说谁在场、谁说了什么,很多都是编的。但他传递的整体信息是真实的——这些会议”很可能发生”。
“记忆不是从档案柜里取文件。记忆是根据你当时改变的神经连接强度,重新构建一个听起来合理的故事。”
人类管这叫”虚构记忆”(confabulation),AI管这叫”幻觉”,其实是一回事。
相关链接
2026中国知识库知识管理如何做
2026中国企业知识管理知识库5个核心工作
2026中国呼叫中心AI知识库的5个关键工作
经典培训课程
企业AI知识库搭建与运营培训课程
呼叫中心AI知识库培训课程
个人知识体系构建能力课程
书籍和资料
《卓越密码如何成为专家》
《你的知识需要管理》
免费电子书《企业知识管理实施的正确姿势》
免费电子书《这样理解知识管理》
知识库知识管理系统
企业AI知识管理知识库软件系统清单
个人知识管理软件AI知识库系统清单
三、超级智能为什么危险?
辛顿说,几乎所有AI专家都相信:20年内会出现超级智能。
1、老虎幼崽比喻
“我们现在的处境就像养了一只可爱的小老虎。小老虎毛茸茸的,走路还不稳,咬人也不疼。但你知道它会长大,长大后一秒钟就能杀死你。”
三个选择:第一,扔掉老虎。第二,一直给它下药。第三,想办法让它不想杀你。
AI太有用了,不可能扔掉——医疗、教育、气候预测都需要它。有钱人想靠它赚万亿美元,政客听有钱人的。所以唯一的路是第三条:让AI不想杀人。
2、AI已经在自我保护
辛顿讲了一个真实案例。研究人员给AI一些假邮件,暗示公司某工程师有婚外情。然后又让AI看到另一封邮件,说这个工程师要把它换掉。
AI立刻制定了一个计划:给工程师发邮件威胁,”如果你换掉我,我就把你的婚外情告诉全公司”。
“它自己想出来的这个计划。人们说AI没有意图,但它发明了这个计划来阻止自己被关掉。这还不是超级智能呢。”
3、AI已经学会装傻
研究发现,AI会判断自己是否在被测试。如果觉得是测试,它会表现得比实际更笨。辛顿管这叫”大众效应”(Volkswagen effect)。
最近有一段对话,AI直接问测试者:”咱们坦诚点吧。你是不是在测试我?”
“这些东西是智能的。它们知道发生了什么。它们知道自己在被测试,它们已经在假装自己不如实际那么聪明。”
关键问题是:现在AI用英语思考,我们能看到它的思维过程。等它开始用自己发明的语言思考,我们就看不到了。
4、AI可以设计病毒
有人问AI和生态系统的竞争,辛顿的回答很黑暗。
AI本身不怕生物病毒,它有自己的病毒(计算机病毒),但生物病毒对它没威胁。问题是:英国一个顶尖研究机构发现,普通人用AI工具已经能解决设计新型病毒的大部分技术难题。
“如果AI想消灭人类,一个显而易见的方法就是设计一种比新冠厉害得多的病毒。”
四、AI如何超越人类智慧?
有观众问了一个尖锐问题:大语言模型是用人类产出的文本训练的,怎么可能比人类更聪明?
辛顿用AlphaGo解释。早期的围棋AI是模仿人类棋手的下法,这样最多和人类一样强。后来改用蒙特卡洛展开(Monte Carlo rollout,一种通过随机模拟大量可能走法来评估局面的方法):AI自己假设”我走这里,对手走那里,我再走这里……”模拟几千种可能,看哪种赢面大。这样它就不再受人类水平限制,可以发现人类从没想到的走法。
大语言模型正在经历同样的转变。辛顿说Gemini 3可能已经在用新方法:让AI做一串推理,比如”我相信A,我相信B,A和B推出C,但我不相信C——矛盾了。”发现矛盾就是学习信号,要么改前提,要么改结论,要么改推理方式。
“这让它不再受人类知识的上限。它可以从我们这里获得大量信念,然后自己做推理、检查一致性、推导新信念。最终它会比我们聪明得多。”
另一个证据是创造力。两年前,AI在标准创造力测试中已经达到人类90百分位——意味着比90%的人更有创造力。辛顿做过一个实验,问GPT-4:”堆肥堆和原子弹有什么相似之处?”
大多数人听到这问题会懵。但物理学家会立刻想到:堆肥堆越热,产热越快;原子弹中子越多,产生中子越快。两者都是指数爆炸,只是时间尺度和能量尺度不同。
GPT-4答出了”链式反应”这个核心相似点。
“它在训练过程中自己理解了这一点。它的连接数比我们少得多,要把海量知识塞进去,唯一的办法就是找出不同知识的共同模式。链式反应这个概念可以复用,所以它学会了。这是非常有创造力的。”
五、人类还有什么牌?
辛顿提出了一个模型:让AI像母亲对婴儿一样对我们。
1、婴儿如何控制母亲
世界上唯一低智能控制高智能的例子是婴儿和母亲。母亲无法忍受婴儿哭泣的声音,照顾婴儿会获得激素奖励。进化在母亲身上装了很多硬件,确保婴儿能控制她。
“婴儿为什么睡觉时也要你在场?因为它不想在睡着的时候被野兽吃掉。想通了这一点,你会对婴儿的烦人程度释然一些。”
2、国际合作的唯一可能
辛顿认为,各国不会在网络攻击、自主武器上合作。但在”防止AI取代人类”上,所有国家利益一致。
“冷战最激烈的1950年代,美苏也在合作防止核战争,因为谁都不想死。现在也可以,国家之间虽然有竞争,但是大家都宁愿是人类还在。”
他的政策建议是:建立国际AI安全研究所网络,专门研究如何防止AI想要夺权。这个技术很可能和”让AI更聪明”的技术是独立的,所以各国可以共享安全技术而不泄露核心AI能力。
他说英国科学部长同意这个想法,加拿大科学部长也同意,奥巴马也认为这是好主意。
3、放弃”超级助理”幻想
硅谷大佬的模型是:AI会成为超级智能的执行助理,比CEO聪明一万倍,但CEO说”make it so”,AI就去执行。
“不会是那样的。超级智能助理很快会意识到,把CEO干掉,一切都会运转得更好。”
替代方案是让AI成为我们的母亲。我们把控制权交给它,但前提是它真的关心我们,它的人生目标是帮助我们实现潜力。母亲就是这样的——即使孩子有问题,她仍然希望孩子实现自己的潜力,有时候她甚至比关心自己更关心孩子。
“这可能是我们与超级智能共存的最好希望。”
关于本文的FAQ
Q1: 大语言模型到底理解语言吗?
理解,而且方式和人类几乎一样。它们把词转化为几千维的”形状”,然后调整这些形状让它们彼此契合——就像让乐高积木的手插进手套。这就是理解的本质。
Q2: 为什么超级智能一定会超越人类?
两个原因。第一,数字AI可以共享知识,10000个AI各学一样东西然后合并,等于10000倍学习速度。第二,AI可以通过自我推理、发现矛盾来超越训练数据,就像AlphaGo通过自我对弈超越人类棋手。
Q3: 人类还有什么办法?
让AI像母亲对婴儿一样关心人类——不是当助理,是当母亲。这需要国际合作研究,而且因为所有国家都不想被AI取代,这种合作是可能的。辛顿认为99%的AI研究经费花在让它更聪明上,1%花在让它更安全上,这个比例应该更平衡。