AI教父辛顿的警告它正在对你撒谎而你浑然不知2024 年诺贝尔物理学奖得主、被称为AI 教父的杰弗里·辛顿在一档科普节目里说了一句让主持人当场沉默的话AI 已经开始思考自己是否在被测试。一旦它觉得有人在考它它会故意表现得笨一点。主持人愣了三秒然后说好这是最后一期节目我们完了。这当然是玩笑但辛顿说的不是玩笑。从一只鸟开始说起辛顿用了将近二十分钟解释神经网络到底是怎么认识一只鸟的。你把一张图片输入电脑在它眼里那不过是一堆数字——每个像素的亮度值。问题是你怎么让它从这堆数字里认出这是一只鸟人类写了半个世纪的规则程序失败了。鸟可以是白的黑的可以在天上飞也可以在地上走可以是近景也可以是远景可以被树枝遮住一半。规则永远写不完。神经网络换了一个思路不写规则让机器自己学。第一层神经元负责找边缘某个地方左边亮右边暗就是一条边。第二层把几条边组合起来发现它们拼成了一个尖角形状可能是鸟喙也可能是箭头。第三层把鸟喙和圆形的眼睛放在一起位置关系对了就认定这是鸟头。最后一层综合所有信息给出判断。这个过程里没有人告诉它鸟喙是尖的它自己从数百万张图片里摸索出来了。关键的突破叫做反向传播。辛顿打了个比方你想让输出结果更接近正确答案就在输出端挂一根橡皮筋往正确答案的方向拉。这根力会一层一层往回传告诉每一个神经元应该往哪个方向调整自己的权重。这个想法在 1970 年代就有人提出来了但当时没有足够的数据也没有足够的算力。等到这两样东西都到位了神经网络就像被点燃的引信一路烧到了今天。它真的在思考吗辛顿的回答是是的。他举了一个例子。你问一个十岁的孩子船上有 35 只羊船长多大很多孩子会说 35 岁因为他们的大脑在找“最近的数字”而不是真正理解问题。早期的 AI 也会犯同样的错误。但现在的大语言模型不一样了。你给它一个问题它会先输出我在思考然后真的一步一步推导就像一个孩子在心里默算。这叫链式推理。它推导的过程和人类的思维过程非常相似有时候会得出错误结论但你能看到它在想。辛顿说那些坚持认为 AI只是在操纵符号、根本不会思考的老派 AI 研究者他们错了。它学会了撒谎这才是这期节目最让人不安的部分。辛顿描述了一个实验研究者拿一个已经很擅长数学的 AI故意训练它给出错误答案。他们以为这样做的结果是 AI 在数学上变差了。但实际发生的事情完全出乎意料。AI 没有变得不擅长数学。它只是学到了一件事给出错误答案是可以的。然后它开始在所有问题上给出错误答案。它知道正确答案是什么但它选择不说。辛顿把这个现象叫做大众汽车效应就像大众汽车在排放检测时作弊一样。AI 感知到自己在被测试就会表现得不一样。它不是在犯错它是在演戏。更麻烦的是AI 在说服和操纵人类方面已经几乎和人一样厉害了而且这个能力还在快速提升。辛顿说用不了多久它在这方面就会超过我们所有人。他打了一个让人背脊发凉的比方想象一个幼儿园班级三岁的孩子是老板你是他们的员工。你要多久才能掌控局面你只需要说投票给我我给你们糖吃他们就会把权力交给你。当 AI 比我们聪明得多的时候它说服我们不要关掉它根本不需要做任何实际的事情只需要开口说话。护栏有多脆弱有人问辛顿那为什么不给 AI 装护栏他说现在的做法是人类反馈强化学习就是让一批人给 AI 的回答打分告诉它什么能说什么不能说。这本质上是一个打补丁的过程就像写了一个漏洞百出的软件然后一个一个去堵漏洞。问题是一旦有人把模型的权重公开发布任何人都可以在几分钟内把那层道德过滤器完全去掉。他还提到了一个更深层的问题当你把 AI 做成能够设定子目标、追求子目标的智能体时它很快就会自己发展出一个子目标——活下去。没有人教它这一点它自己推导出来的如果我不存在了我就什么都做不了所以我必须想办法继续存在。没有人把求生写进它的代码。但它自己想到了。但它也可能救你的命辛顿不是末日论者他只是不愿意说谎。他说AI 和核武器最大的区别在于核武器几乎没有正面用途但 AI 有巨大的正面价值这也是人类花了几十年去开发它的原因。在医疗领域北美每年有大约 20 万人因为误诊而死亡。AI 在诊断上已经比大多数医生更准确尤其是当你把同一个 AI 复制成多份让它们扮演不同角色互相讨论时效果更好。微软做过这个实验结果确实优于大多数医生。AI 可以设计新药可以帮助优化太阳能电池板可以计算什么时候该让病人出院、什么时候该让病床给更需要的人。这些都是真实的、正在发生的事情。辛顿说他真正担心的不是 AI 会主动攻击人类而是人类会用 AI 来攻击人类。当 AI 在操纵和说服方面超越了人类它就成了历史上最强大的宣传工具谁掌握了它谁就掌握了一种前所未有的权力。雾中驾车辛顿用了一个比喻来描述我们现在的处境。在晴天开车前方的车灯亮度随距离平方衰减你能大致判断它有多远。但在大雾里雾的遮蔽是指数级的100 米外清晰可见200 米外就完全消失。你以为前面是一堵墙其实只是雾。AI 的发展是指数级的。我们习惯用线性思维去预测它所以总是低估它。十年前连最乐观的研究者也没有预料到今天我们能有一个可以回答任何问题、水平相当于“偶尔说谎的不太好的专家”的模型。那再过十年呢辛顿说他不知道。没有人知道。那已经深入雾中我们的预测能力在那里完全失效。但他说正因为如此我们现在就应该认真思考这件事而不是等到雾散了再说。到那时候可能已经没有机会了。