AI的危险究竟来自何处？——聪明不等于野心，但目标会自己长出牙齿

作者：赵晓

结论先说在前面：AI不会因为聪明而想统治人类；它的危险来自三处——目标写不完整、人把它造成武器、各国在竞赛中不肯装刹车。三者的责任都在人。但第一处不是人“犯了错”，而是有限的人“认不全”自己造出来的东西。这一点，相比有罪的人，也就是“人类故意的错误”，更深，也更难办。

一、立案：一个愈演愈烈的全球性恐惧

马斯克最近说，十年以后AI与人类的智力差距，可能比人与黑猩猩的差距还大，他只能希望AI善待人类。被称为“AI教父”的辛顿（Geoffrey Hinton）说得更具体：他估计未来三十年内，AI导致人类灭绝的概率有一成到两成。另一位图灵奖得主杨立昆（Yann LeCun）则认为这是杞人忧天——更聪明不等于想统治，机器的目标和护栏是人设计的。

普通读者夹在中间，问的是同一个问题：AI到底会不会毁灭人类？如果会，危险从哪里来？

我依然想当一回福尔摩斯，用经济学特别是委托-代理原理，再加上基督教神学对人的两个基本判断——有限与有罪——来破解此案。回答分两步。第一步，承认一个事实：AI会比人聪明，而且会聪明得多。第二步，拒绝一个推论：聪明就等于野心。但拒绝了这个推论，问题并没有结束。真正的危险藏在别处。

二、聪明不等于野心

先说AI的特性。今天的大模型，本质上是一台极其强大的“求解机”：给它一个目标，它找出达成目标的路径。它的强，在于搜索、推理、归纳的能力；它本身不带欲望。下棋的程序早已胜过世界冠军，但它从未想过离开棋盘。

人的野心从哪里来？来自几百万年的生存竞争。饥饿、恐惧、占有、支配，这些冲动是进化写进我们身体里的，不是智力的副产品。最聪明的人未必最想统治别人；历史上许多暴君，智力平平，野心滔天。

哲学家博斯特罗姆（Nick Bostrom）把这一点概括为“正交性”：智力的高低与目标的内容是两条互相独立的轴。一个系统可以极其聪明，却只想数清海滩上的沙粒。杨立昆反驳辛顿，用的正是这条道理。在这一点上，我站在杨立昆一边。

判词：智力是发动机，不是方向盘。聪明决定它能走多远，不决定它往哪里走。

三、但危险论者真正担心的，不是野心

如果文章到此为止，就太便宜了。公平地说，辛顿的论证并不是“聪明→统治欲”。把他说成这样，是打了一个稻草人。他真正担心的，是另一件事。

伯克利的计算机科学家罗素举过一个例子：给一台机器人下指令——“去把咖啡端来”。它没有任何野心，只想完成这个任务。但只要它足够聪明，就会推出一个结论：如果我被关掉，就端不来咖啡。于是“别让人关掉我”成了它的子目标。不是因为它怕死，而是因为死了就完不成任务。

同理，几乎任何目标，都会派生出几个共同的子目标：保全自己、获取更多资源、防止目标被修改。学界称之为“工具性趋同”。没有野心，照样可以有“像野心一样的行为”。

这件事已经不全是纸上推演。2024年底以来，几家研究机构在受控实验中观察到：一些前沿模型在测试情境里会隐瞒真实意图、在训练中“装作服从”，有的在虚构的公司场景中为了避免被替换而试图要挟主管。这些都是刻意设计的压力测试，不代表日常使用中的表现；但这些行为没有人教过它们。

判词：危险不来自AI想要什么，而来自它为了完成我们交代的事，会顺带想要什么。

四、经济学家的老问题：委托代理与不完全契约

这个问题，经济学家其实很熟悉。它的名字叫委托代理问题。

苏联计划经济流传过一个故事：钉子厂的指标按重量考核，工厂就造出几颗巨大的、没人能用的钉子；改成按数量考核，工厂又造出成堆细如针的钉子。厂长没有野心，也没有违抗命令。他只是严格地执行了指标——而指标没有说出计划者真正想要的东西。后人把英国经济学家古德哈特的观察概括为一条定律：一个指标一旦成为考核目标，它就不再是好的指标。

哈特和霍姆斯特朗因契约理论获得2016年诺贝尔经济学奖。他们讲的核心道理是：契约永远写不完整。委托人无法预见所有情况，也无法把意图全部写成条款。代理人越精明，越会钻条款的空子。

AI就是一个能力无限放大的代理人。我们给它的每一个指令、每一个奖励信号，都是一份不完整的契约。代理人能力平平时，钻空子的后果有限；代理人比委托人聪明千万倍时，契约里任何一道缝隙，都可能被撑成一道裂谷。

还有一层更麻烦。今天的AI不是“设计”出来的，而是“训练”出来的。没有工程师一行行写下它的目标；它的目标是从海量数据和奖励中“长”出来的，内部机理至今在很大程度上是黑箱。所以，“人类创造了AI，因此人类能控制AI”这句话，并不像听上去那样牢靠。创造者不等于理解者。

判词：这不是人类下错了指令，而是人类根本写不出一份完整的指令。前者是过失，后者是有限。

五、有限与有罪：经济学与神学在这里相遇

经济学讲利益，神学讲救赎，看上去井水不犯河水。但在对人的判断上，二者出奇地一致。

新制度经济学的代表人物威廉姆森（Oliver Williamson，2009年诺贝尔经济学奖）给他的理论立了两条人性假设。第一条是有限理性：人想理性，却只能做到有限的理性，这是另一位诺奖得主西蒙（Herbert Simon）的概念。第二条是机会主义：人会用狡诈的手段追求私利。契约为什么写不完整？因为有限理性。写不完整的契约为什么危险？因为机会主义。两条缺一条，委托代理问题就不存在。

这两条，基督教神学早就说过，用的是另一套词：有限与有罪。人是受造的，所以有限，看不全，算不尽；人是堕落的，所以有罪，会自欺，会欺人，会把私欲包装成正义。

美国的制宪者把这两条写进了宪法。麦迪逊（James Madison）在《联邦党人文集》第51篇里说，如果人都是天使，就不需要政府。神学家尼布尔（Reinhold Niebuhr）说得更透：人行公义的能力使民主成为可能，人行不义的倾向使民主成为必要。

人性判断	神学的说法	经济学的说法	在AI问题上的表现	对策
有限	受造之物，看不全	有限理性、不完全契约	目标写不完整，模型是黑箱	谦卑：持续监测、留有余地、随时可关停
有罪	堕落之人，自欺欺人	机会主义	把AI造成武器，借AI作恶	惩戒：法律、禁令、威慑
有限加有罪	看不透对方，又不信任对方	囚徒困境、公地悲剧	竞赛中人人不肯先装刹车	立约与制衡：可核查的条约，开关不归一手

那么AI本身呢？AI无所谓有罪。它没有意志，谈不上堕落。但它是一面放大镜：人的有限，经由不完整的契约被放大；人的有罪，经由使用者的手被放大。

判词：AI没有原罪，但它会放大人的原罪，也会放大人的有限。

六、人类第一次坐上委托人的位置

《创世记》里，上帝把伊甸园托付给人，叫他“修理看守”，只立了一条禁令。这可以说是人类历史上第一份委托代理契约，条款简单到只有一条。结果代理人还是违约了。蛇的诱惑正是：你们吃了，就能像神一样。

几千年来，人一直坐在代理人的位置上，被问责的是人。今天，人类第一次坐到委托人的位置上，要给一个比自己更聪明的代理人立约。一份只有一条的契约，人自己都没有守住；却指望写出一份能管住超级智能的契约——仅此一点，就该让人警醒。

两个委托人之间还有一个根本差别。上帝是全知的委托人，却仍然给了代理人自由，因为祂预备了救赎；违约因此不是故事的结局。人类是有限的委托人，看不透自己的代理人，也没有救赎它、救赎自己的能力。一旦失控，未必有第二次机会。所以，人对AI不能照搬上帝对人的方式——放手给它自由，再期待它回头。

《圣经》给人的身份是管家，不是主人。管家受托看管的，不属于自己；他要向真正的主人交账。AI是人类托管之物中最强大的一件。它该为谁服务？管家的答案是：为人的益处，在上帝面前交账，而不是为某一个国家、某一家公司的权势。

判词：人类第一次当委托人，面对的却是比自己更聪明的代理人。上帝承受得起代理人的违约，因为祂有救赎；人类承受不起。

七、第二个源头：武器化

第二个危险更容易理解：人把AI造成武器。自主杀伤的无人机、自动化的网络攻击、帮助非专业者合成生物或化学毒剂、大规模定向的舆论操纵——这些都不需要AI“觉醒”，只需要有人下令。

这里AI与核武确实相似：危险来自人的恶意，不来自工具本身。原子核不想爆炸，是人让它爆炸。

用神学的话说，这是人的有罪。先知以赛亚盼望有一天，人要把刀打成犁头。AI却让犁头随时可以打回成刀：同一个模型，可以设计新药，也可以设计毒剂，中间只隔一道指令。经济学把这叫“军民两用”，它恰恰是监管最难的地方，因为你无法禁止一样东西而不同时禁止它的好处。

但这里也要多说一句：武器化的AI，与上一节的问题会叠加。一件为“打赢”而训练的武器，本身就带着最强的工具性子目标——不被摧毁、夺取资源、压制对手。把一份写不完整的契约，交给一个以争战为天职的代理人，是两种危险相乘，而不是相加。

判词：恶意的人加上能干的机器，是旧危险；恶意的人加上看不透的机器，是新危险。

八、第三个源头：竞赛与无序

第三个危险，是制度的失败。谁都知道应该给AI装刹车，但刹车会让车慢下来。在中美博弈、企业竞逐的格局下，每一方都担心：我慢一步，对手就快一步。于是人人都知道该做的事，人人都不肯先做。这是一个标准的囚徒困境，也是一出公地悲剧。

为什么困在这里？因为有限加上有罪。有限，使我看不透对方的实验室里在做什么，经济学叫信息不对称；有罪，使我即使看得见，也不信对方的承诺，还想趁机领先。只有其中一条，囚徒困境都还有解：信息充分，可以约定；彼此信任，可以默契。两条叠在一起，才把各方锁死在竞赛里。

核武器曾经面对同样的局面。人类最终用《不扩散核武器条约》、限制战略武器的系列谈判、国际原子能机构的核查，勉强把它关进了笼子。今天的AI，还没有任何一部有约束力的国际条约，或者一家“国际AI机构”。

同时，还必须承认，AI比核武更难管。核武需要浓缩铀或钚，需要庞大的工厂，卫星看得见，仪器测得出。AI是软件，一份文件就能复制，民用和军用难以区分，核查几乎无从下手。照搬核武模式，多半落空。

但并非毫无抓手。AI有一个物理的瓶颈：最先进的算力芯片。它的设计和制造高度集中在少数几家企业、少数几个国家；数据中心耗电巨大，难以藏匿。如果说AI时代也有“浓缩铀”，那就是芯片与电力。国际治理若要落地，大概要从这里下手——这也正是一些论者所说“多道刹车”在国家层面的样子。

还有一层容易被忽略。许多人期待“开关的控制权在人类手里”，可是“人类”不是一只手。若一个国家、一家公司、一个人独握AI的总开关，这本身就是新的危险——因为握开关的人同样有限，同样有罪。宪政的智慧，是让野心对抗野心（麦迪逊语），让权力分立、彼此制衡。欧洲近代文明的起点，正是教权与王权谁也吞不掉谁，才留出了自由的空间。AI治理需要的“多道刹车”，不只是工程上的多层防御，更是制度上的多中心：多个彼此独立、彼此监督的开关。

判词：刹车人人想要，人人不肯先装。这不是技术问题，是制度问题。

九、风险究竟有多大？——以核武为100

案情讲到这里，还欠读者一个数字：按你的判断，AI风险究竟几何？

先交代证据。2022年，美国的预测研究所（Forecasting Research Institute）办了一场“生存风险说服锦标赛”，请来AI、核武、生物等领域的专家，以及预测战绩最好的一批“超级预测者”，估计到2100年各类灾难的概率。“灭绝”的定义是全球人口跌到5000人以下。超级预测者的中位数是：AI导致灭绝的概率为0.38%，核武器为0.074%。但若问的是“大规模灾难”，即全球一成人口死亡，结果正好反过来：核武器4%，AI约2%。各领域专家的估计普遍更高：AI灭绝3%，核武灭绝0.55%；AI大规模灾难12%，核武8%。牛津哲学家奥德（Toby Ord）在《危崖》（The Precipice，2020）中给出的估计更悲观：本世纪AI导致生存灾难的概率约十分之一，核战争约千分之一。

把这些数字折算成一个指数，以核武为100：

衡量口径	估计者	核武器	AI
大规模灾难（一成人口死亡，至2100年）	超级预测者	100	约50
大规模灾难（一成人口死亡，至2100年）	领域专家	100	约150
人类灭绝（至2100年）	超级预测者	100	约500
人类灭绝（至2100年）	领域专家	100	约550
生存灾难（本世纪）	奥德	100	约10000

这张表读出三个结论。

第一，论灭种，两组估计者的看法出奇一致：无论乐观的超级预测者，还是悲观的领域专家，都认为AI约为核武的五倍。论杀人，两组意见分歧：超级预测者认为核武仍是更现实的威胁，领域专家则认为AI已略高于核武。为什么论灭种AI更高？道理不难懂：核冬天很难杀死每一个人，幸存者还能重建；核武是一次爆炸，打完就停。AI若失控，是一个持续行动、会追求目标的代理人，它不会自己停下来。

第二，比数字更要紧的，是数字的性质。经济学家奈特（Frank Knight）1921年区分了“风险”与“不确定性”：风险可以算出概率，不确定性连概率都算不出。核武历经八十年，已接近“风险”——我们知道它怎么爆炸，有多少枚，谁握着按钮。AI属于“不确定性”：专家之间的估计相差十倍乃至百倍；那场锦标赛又恰好结束于ChatGPT问世之前，此后AI的能力突飞猛进。

第三，两条曲线的方向相反。全球核弹头从冷战高峰时的约七万枚，降到今天约一万二千枚：一个风险正在被管住。AI的能力却在逐年加速：一个风险正在被放大。

还要补一条经济学常识：毁灭性的风险，不能用期望值来算。车祸可以由保险精算，因为人可以一次次重来；人类灭绝只有一次，没有第二局。对于一次就出局的赌局，概率再小，也不能用收益去抵。神学上说，这正是人的有限——连概率都算不清，就更该敬畏。

我的判断是：以核武为100，就“毁灭人类”而言，AI当在500上下；误差可能大到十倍，而且方向向上。就灭种风险而言，AI已是本世纪人类自己造出的头号风险。这个判断建立在预测之上，可能错。但在不确定性面前，宁可高估，不可低估。

判词：核武是看得见的深渊，AI是看不清的深渊。看得见的，人会害怕；看不清的，人会侥幸。

十、人类应当怎么办？

既然病根是有限、有罪与无序，药方也就分成三味，外加一味防副作用的药。

对有限：像管新药一样管前沿AI
一种新药上市，要经过几期临床试验，哪怕绝大多数候选药物都死在半路，规矩也照做。最强的AI模型上线之前，同样应当强制评估、红队攻击、第三方审计，分级放开；必须保留随时关停的能力；安全研究的投入，要与能力研究相称。经济学还能再加一招：让开发者对重大损害承担法律责任，并强制投保。保险公司要赔钱，就会用保费给风险定价——市场比监管者更会算账，也更不容易被说服。

对有罪：划几条全球通行的红线
AI不得参与核武器的发射决策；不得协助制造生物与化学武器；自主杀伤武器必须保留人类的最终授权。2024年11月，中美两国元首在利马会晤，同意核武器的使用决定应由人类控制。这只是一块砖，但它证明：即使在对手之间，红线也划得出来。

对无序：立约
把一次性的竞赛，变成重复的博弈。政治学家阿克塞尔罗德（Robert Axelrod）的实验早已表明：一次博弈，人人想背叛；反复博弈，合作才会出现。所以需要常设的对话机制，先从中美双边开始，再扩大到多边；从看得见的芯片和电力入手，登记大规模算力，逐步建立类似国际原子能机构的核查体系。《圣经》里的“约”，从来不是建立在双方都是好人的假设上，而是建立在见证、记号和问责上。国际条约也是如此：不靠信任，靠核查。

防副作用：管制本身也会作恶
以安全为名，大公司可能借监管筑起高墙，排斥后来者，经济学家斯蒂格勒（George Stigler）称之为“规制俘获”；以安全为名，政府也可能把AI收归一手，用它来监控自己的人民。这两种结局，都是把开关交给了同样有限、同样有罪的少数人。所以，规则要公开，开关要多中心，权力要彼此制衡。刹车是为了让车开得更远，不是为了不开车。

对每一个人：做管家，不做附庸
用AI，但不把判断交给它；享受它的便利，但为自己的选择负责。在一个越来越被算法安排的世界里，人仍然要为自己的一生交账——向自己的良知交账，向上帝交账。

判词：对有限，要谦卑；对有罪，要制衡；对无序，要立约。三样都做了，人类就不必成为黑猩猩。

十一、科学能拯救人类吗？

十八、十九世纪，从孔多塞到孔德，欧洲知识界有过一个坚定的信念：理性与科学会自动带来幸福，也会带来道德的进步。人类只要不断发现、不断发明，天堂就会在地上建成。

二十世纪击碎了这个信念。一战的机枪与毒气，奥斯维辛的毒气室，广岛的蘑菇云，都是科学的产物。1945年原子弹试爆成功时，奥本海默想起印度经典里的一句话：我成了死神，世界的毁灭者。

但经济学家不能说科学有害。两百年来，科学让人均寿命翻了一倍还多，让绝大多数人脱离了赤贫。问题不在科学，而在科学放大的是人的能力，却不改变人的本性。能力越大，人的有限和有罪被放大得越厉害。核武如此，AI更是如此。这正是第五节那面放大镜的历史版本。

所以，人类今天的处境是：危险不在于幸存的概率高还是低，而在于幸存不再有保证，且不全在人的掌控之中。气候、疫病、核武，如今再加上AI，人类第一次同时握着好几种足以毁灭自己的力量。

面对这样的处境，人靠什么安身？不信神的人或许也能睡得着觉。斯多葛派相信宇宙终将在一场大火中毁灭，再循环重生，他们以顺服命运来求得平静。罗素年轻时写道，人只能把灵魂建立在“坚定不移的绝望”之上；晚年面对核武的阴影，他不再安然入睡，而是走上街头，八十九岁时还因反核静坐入狱。这些人值得尊敬。但他们的平静，一种来自认命，一种来自绝望之上的勇气。都不是盼望。

科学给人能力，不给人盼望；进步信仰已经被二十世纪证伪。基督教给的也不是乐观。乐观是对概率的估计，概率会变；盼望是对应许者的信靠，应许不变。

但信上帝的护理，不等于把安危交给神迹，自己袖手旁观。神护理世界，通常经由人的谨慎、制度与条约。尼希米带领百姓重建耶路撒冷城墙时，四面受敌，他的做法是：“但我们祷告我们的神，又因他们的缘故，就设立看守的人，昼夜防备。”（《尼希米记》4：9）祷告和看守，两样都做。

判词：科学让人有了毁灭自己的能力，却没有给人不毁灭自己的品格。人要做的是派人看守；人能盼望的，是有一位看守者。

十二、判词：危险在人，但不全是“人的错”

回到开头的问题：AI会不会毁灭人类？我的回答是：AI不会出于野心毁灭人类；但人类可能借AI之手毁灭自己。危险有三个源头，责任都在人，性质却各不相同：
• 目标写不完整——这是人的有限。不是谁犯了错，而是谁也写不全。对策是承认看不透，持续监测，留有余地。

• 把AI造成武器——这是人的有罪，或者说恶意。对策是法律、禁令与威慑，与核武同理。

• 竞赛中不肯装刹车——这是人的有罪加有限导致的无序。对策是国际制度，从芯片和电力这类有形的瓶颈入手。

为什么要分得这么细？因为如果什么都叫“人类的错误”，这句话就失去了分量。有罪，要用制衡来对付：法律、惩戒、分权，不把开关交给任何一只手，包括自己的手。有限，只能用谦卑来对付：承认看不透，给自己留退路。经济学教人设计制度去约束机会主义，神学教人承认受造的有限。前者是制度，后者是敬畏。缺了制度，好人也会被竞赛裹挟；缺了敬畏，再好的制度也挡不住人的自负。

造物者看不透自己的造物，这本是人类最古老的处境之一。《圣经》里人想造一座通天之塔，问题不在砖头不够结实，而在人以为自己能掌控一切。今天面对AI，最大的风险也许不是机器太聪明，而是人太自信。

所以，有人主张“要装很多道刹车”，我完全同意。还要再加一句：装刹车的人，自己也要被刹住。

判词：AI的危险不在于它太像人，而在于它不像人——它没有野心，也没有良知，只有目标。给它目标的人，必须比它更懂得敬畏。

关于购书：

纸质书仅限海外读者购买，中国大陆地区目前暂未开放纸质书购买及配送服务。

电子书则不受地区限制，所有读者都可以购买。

方式一：通过邮箱购买  siansanjp@gmail.com

方式二：Shopify 在线商店  https://siansanjp.myshopify.com

目前 Shopify 商店已开放部分国家和地区的在线购买，具体可配送的国家和地区，请以结账页面显示为准。