作者：尤瓦尔·赫拉利 转载自：微信公众号 原文链接
题图：电影《1984》（1984）剧照
在过去 10 万年里，我们智人积攒了巨大的力量。然而，持续不断的发明与征服也将我们推入了一场生存危机。全球生态濒临崩溃，虚假信息泛滥。我们正一头扎进可能毁灭我们自身的、由新型信息网络组成的人工智能时代。
人类如此智慧，为什么却总是倾向于自我毁灭？我们为什么走到了生态和技术自杀的边缘？当非人智能威胁到人类的生存时，人类如何做出明智的选择？
从口口相传的故事，到文字书写，再到人工智能，《智人之上》透过大历史的长镜头，讲述信息网络如何塑造了我们和我们的世界，历史学家尤瓦尔·赫拉利邀请我们思考信息与真相、神话与官僚制度、智慧与权力之间的复杂关系，探讨不同的社会结构在试图构建信息网络时面临的关键困境。
经“中信·先见”授权，我们节选了第 10 章《极权主义：所有力量归于算法？》，分享给读者。
机器人程序的监狱
虽然人工智能有许多方面有利于中央集权，但专制与极权政权在人工智能面前也并非无往不利。首先，独裁政权并没有控制非生物行为者的经验。专制信息网络是以恐怖统治为基础的，但计算机并不怕被关进监狱或被杀。要是某国互联网上有一个聊天机器人程序提到该国在他国犯下的战争罪行，讲了一个会冒犯该国领导人的笑话，又或者批评了该国的某个政党多么腐败，该政权能对这个聊天机器人程序做什么？特工没办法把这个程序关起来，没办法折磨它，也没办法威胁它的家人。该国政府当然能够封锁或删除这个程序，并且试着去找出并惩罚写出这个程序的人，但总之要比平常教训人民困难多了。
过去，计算机还无法自行生成内容，无法进行有智能的对话，比如在 VKontakte 和 Odnoklassniki 这些社交平台上，只有人类有能力提出对政府的异议。然而，如果网络空间被塞进了几百万个机器人程序，都能生成内容、进行对话，还能自行学习与发展，情况将会如何？这些机器人程序的设计者可能是外国人士或异见分子，希望传播不同于官方的想法，而且当局对此或许无计可施。就当局的立场而言，如果在授权机器人程序运作之后，这些程序收集了关于该国现状的各种信息，找出其中的模式，并逐渐自行发展出与政府不同的观点，情况岂不是更糟？
这就是一种一致性问题。虽然人类工程师可以尽最大努力打造出向政府看齐的人工智能，但鉴于人工智能具有自我学习与改变的能力，难保哪天走向政府不乐见的方向。特别有趣的一点在于，正如奥威尔在《一九八四》所解释的，极权信息网络常常都需要依赖双言巧语（doublespeak），例如一些极权国家的宪法会做出许多崇高的承诺，比如“人人均应享有思想及言论自由”“人人均应享有寻求、接收、传递、生产与散播信息的自由”“大众媒体之自由应受保障，不得实施审查制度”等等，但几乎没有人会天真到相信这些承诺的字面意义，而计算机并不懂这样的双言巧语。如果要求聊天机器人程序遵守极权国家的法律与价值观，它可能会在读了宪法之后，认定言论自由是该国的核心价值，而在该国的网络空间待上几天，观察整个国家信息领域发生的种种事情之后，这个聊天机器人程序就可能会开始批评该国的政权违反了言论自由这项核心价值。人类虽然也会注意到这些矛盾，但会因为恐惧而不敢明说。聊天机器人程序却是看到什么说什么，哪有什么不敢说的呢？人类工程师该怎样才能向聊天机器人程序解释，虽然宪法明文保障每位公民的言论自由，禁止实施审查制度，但聊天机器人程序其实不该相信宪法，也不能提理论与现实之间的差距？就像曾经有人跟我说的，在极权国家长大的人，相信问题会带来麻烦。但在训练算法的时候，如果要它相信“问题会带来麻烦”这种原则，算法又要怎么学习与发展？
最后，政府如果采取了某项极为失败的政策，后来又改变心意，常常就会把失败推到别人头上，掩饰自己的过错。而人类又常常是经过惨痛的教训，才能学会忘记那些给自己找麻烦的事实。但我们要怎样才能训练聊天机器人程序，要它赶快忘记那些今天被批得一文不值，但在短短一年前还是国家官方立场的政策？这将是极权政权难以应对的重大技术挑战，特别是在聊天机器人程序越来越强大，也越来越不透明的情况下。
当然，民主政权也会有类似的问题，聊天机器人程序可能会说一些政府所不乐见的话，或者提出一些危险的问题。如果微软或脸书工程师已经尽了最大努力，聊天机器人程序却还是散播种族歧视的言论，该怎么办？民主政权的优势，在于就算真的遇上算法不受控制的情况，处理起来也能够较有余裕。因为民主政体“藏在柜子里的骷髅”可能会少一些，所以就算碰上反民主言论，大体上也能够包容。但极权政权简直就像在柜子里藏了整个见不得光的墓园，因此完全无法承受任何批评，这种时候，会提出异议的机器人程序就会形成极为严重的挑战。
算法的傀儡
长期而言，极权政权还可能遇上更大的危险：算法并不是仅仅批评这些政权，而是直接控制了这些政权。纵观历史，专制者最大的威胁常常来自下属。第五章提到过，没有哪个罗马皇帝是被民主革命赶下台的，都是被下属推翻或成了傀儡。要是 21 世纪的专制者把太多权力交给计算机，就有可能成为计算机的傀儡。独裁者最不乐见的，就是创造出比自己更强大的或自己控制不了的力量。
为了说明这一点，请让我以一个有点儿天马行空的思想实验为例，它有点儿像波斯特洛姆提出的“回形针启示”的极权政体版本。想象时间来到 2050 年，凌晨 4 点，独裁者被“监控与安全算法”紧急叫醒。“伟大的领袖，我们遇上了一个紧急状况。我通过计算几万亿个数据，发现了绝对无误的模式：国防部长打算在今早对您发动暗杀政变。暗杀小队已经准备就绪，等他下令。但只要您一声令下，我就会发动精准攻击，将他肃清。”
“可是国防部长是我手下最忠诚的人，”独裁者说，“他昨天还跟我说……”
“伟大的领袖，我知道他对您说了什么，这世上没有什么话是我没听过的。但我也知道他后来对暗杀小队说了什么，而且我一直在数据中发现令人不安的模式，已经追踪了好几个月。”
“你确定你没有被深度伪造的数据蒙骗吗？”
“恐怕我所依据的数据都是百分之百真实的，”算法说，“我使用专门的深度伪造检测子算法检查过。虽然我可以详细解释为什么我知道这些不是深度伪造的数据，但可能得花上几个星期。要不是已经确定，我绝不想惊扰您，但所有数据都指向一个绝对的结论：一场政变就在眼前。除非我们现在采取行动，否则暗杀小队一小时后就会抵达。但只要您下令，我就会肃清叛徒。”
独裁者让监控与安全算法拥有这么大的权力，这让他进退两难。如果他不相信算法，就可能被国防部长暗杀；如果他相信算法、肃清国防部长，就成了算法的傀儡。要是有人想对算法不利，算法也很清楚怎样操弄他来先下手为强。请注意，这一切并不代表算法需要有意识。就像波斯特洛姆的回形针思想实验所显示的——也像是 GPT-4 会对跑腿兔网站（TaskRabbit）的打工人员小规模地撒谎——算法就算没有意识，不会像人类一样贪婪或自私，也可能会试着抓住权力，操弄他人。
要是算法真的能发展出以上假设的这些能力，独裁政权成为算法傀儡的风险其实远高于民主政权。在美国这样的分布式民主体系中，人工智能再不择手段也很难夺权：就算学会了如何操弄美国总统，还是得面对国会、联邦最高法院、州长、媒体、各大企业和各种非政府组织的反对。举例来说，如果参议院阻挠议事，算法能怎么办？
国家的权力如果高度集中，夺权的难度就低得多。如果所有权力集于一人之手，只要控制了专制者的亲信，就等于控制了专制者，也就等于控制了整个国家。只要学会操控一个人，就能成功劫持整个体制。一个典型的例子就是罗马皇帝提比略成了禁卫军队长塞扬努斯的傀儡。
禁卫军最初由奥古斯都所设，是一个小型的帝国护卫队。奥古斯都还给禁卫军任命了两名队长，这样任何一位的权力都不会凌驾于自己之上。可惜，提比略没那么聪明，而他的偏执也成了他最大的弱点。身为两位队长之一的塞扬努斯，巧妙地利用了提比略的恐惧心理，不断揭发各种号称要暗杀提比略的阴谋，但多半纯属虚构。除了塞扬努斯，这位多疑的皇帝开始越来越不信任其他人，于是任命塞扬努斯成了禁卫军唯一的队长，统领 1.2 万人，还进一步负责整个罗马城的治安与管理。到最后，塞扬努斯还说服提比略离开了首都，前往卡普里岛，理由是比起一个充满叛徒与间谍的大都市，在一个小岛上保护皇帝实在容易多了。但正如罗马历史学家塔西佗所言，塞扬努斯的真正目的是掌控能够传到皇帝手中的一切信息：“与皇帝的接触尽在他的控制之中，之前由士兵传递的信件，现在都必须经他的手转交。”
提比略被孤立在卡普里岛上，塞扬努斯控制了提比略能够获取的一切信息。随着禁卫军控制了罗马，这位禁卫军队长也就成了罗马帝国真正的统治者。包括皇室成员在内，只要是可能反对他的人，塞扬努斯就会诬指他们叛国，并加以清除。所有人都必须经过塞扬努斯的许可才能联络上皇帝，提比略因此沦为傀儡。
算法就算没有意识，不会像人类一样贪婪或自私，
也可能会试着抓住权力，操弄他人。
终于，后来有人（或许是提比略的弟媳安东尼亚）在塞扬努斯的信息防线里发现了一个缺口，偷偷将一封信送到皇帝那里，解释了当时的情境。提比略发现了危险，决心要除掉塞扬努斯，却几乎束手无策。这个人不但控制了他身边的守卫，还控制了他与外界的一切联系，他要怎样才能扳倒这个人？一旦提比略轻举妄动，塞扬努斯就可能会将他无限期囚禁在卡普里岛，并且告诉元老院与军队皇帝重病，无法前往他处。
话虽如此，提比略还是成功地扭转乾坤。随着塞扬努斯权力与日俱增，他开始把更多心思放在整个帝国的管理上，不再过问罗马治安机构的日常琐事。提比略找到塞扬努斯的一个部下——马克罗（负责罗马消防与夜巡事务的警卫队队长），取得了他的支持。马克罗策划政变，扳倒了塞扬努斯。作为奖励，提比略任命马克罗成为新任禁卫军队长。几年后，马克罗杀死了提比略。
提比略的命运告诉我们，所有独裁者都要维持一种很脆弱的平衡：既要把所有信息集中在一处，又要小心让自己成为各种信息通道的唯一交会点。要是信息通道交会在其他地方，那里就会成为真正的权力枢纽。如果政权仰赖的是人类（如塞扬努斯与马克罗），高明的独裁者就能操弄他们互相对抗，而让自己稳居高位。如果政权仰赖的是一套力量强大且高深莫测的人工智能，所有信息都由人工智能来收集与分析，人类独裁者就有可能直接失去一切权力。这位独裁者就算依然身在首都，也像是被隔离在一个数字孤岛上，只能受到人工智能的控制与操弄。
独裁者的困境
比起成为算法的傀儡，接下来几年里，这个世界上的独裁者还会碰上更迫切的问题。目前的人工智能系统还没有大规模操控政权的能力，但极权政权已经出现了太过信任算法的危机。民主政权假设任何人都可能犯错，而极权政权假设自己永远是对的。基于这种假设而建立起的政权，相信有绝对正确的天才存在，也不乐见创造出强大的自我修正机制，用以监督那位天才。
到目前为止，这些政权相信的都是由人类组成的领导人，也是培育个人崇拜的温床。未来，这样的极权传统也使这些政权做好另一种准备：相信有绝对正确的人工智能。这不只会给这些政权的公民带来灾难，还可能波及世界其他地区。要是某个负责环境政策的算法犯了离谱的错误，又没有自我修正机制能够发现并修正这个错误，事情会如何发展？要是某个负责国家社会信用体系的算法犯了离谱的错误，除了开始恐吓一般大众，甚至还开始恐吓执政党成员，把所有质疑算法所制定的政策的人都贴上“人民的敌人”这个标签，事情又会如何发展？
独裁者无法摆脱的问题，就是自我修正机制薄弱，以及下属尾大不掉的威胁，而人工智能的兴起又可能让这些问题变得更为严重。对独裁者来说，计算机网络带来的其实是一个令人无比苦恼的两难困境。独裁者如果想要摆脱尾大不掉的人类下属，可以选择信任理论上绝对正确的信息技术，但这种时候，他们就可能成为信息技术的傀儡。如果独裁者想要建立一个人类机构来监督人工智能，就得小心这个机构对独裁者的权力造成限制。
即使全球只有极少数独裁者选择信任人工智能，也可能对全人类造成深远影响。科幻小说里常常会出现人工智能不再受控，进而奴役或消灭人类的场景，而且多半把背景设在民主资本主义的社会。这点也不难理解，毕竟民主国家的作家对自己的社会更感兴趣。然而，人类如果要对抗人工智能，里面最弱的一环大概就是独裁者。人工智能如果要夺取权力，最简单的方法不是逃出制造科学怪人的实验室，而是赶快去讨好偏执的提比略。
这种说法并不是预言，而是提出一种可能。1945 年之后，独裁者及其下属还是能和民主政权与公民携手合作，共同抵制核武器的。1955 年 7 月 9 日，爱因斯坦、罗素等著名科学家及思想家共同发表《罗素-爱因斯坦宣言》，呼吁各个国家的领导人应合力避免发生核战争。这份宣言提到：“我们以人类的身份，向人类殷切呼吁：请铭记人性，并忘却其余。做到这点，眼前就是通往新天堂的道路；反之，眼前就是共同毁灭的危机。”人工智能也是如此。独裁者如果相信人工智能必定会让权力的天平向自己倾斜，只能说是愚不可及。只要一不小心，人工智能就会夺取权力。
