1. 项目概述当预测遇上“超级智能”我们正站在一个技术奇点的门口谈论的不是某个具体的产品而是一种可能彻底重塑人类文明的力量——通用人工智能。与今天擅长特定任务的“窄人工智能”不同AGI被设想为具备人类水平或超越人类的通用认知能力能学习、推理并解决任何智力任务。这听起来像科幻但顶尖研究机构和科技公司正投入巨资试图将其变为现实。问题在于我们不知道它何时会到来更不知道它到来时世界会变成什么样子。是解决气候变化、疾病和贫困的终极工具还是人类文明无法控制也无法理解的终结者这种极度的不确定性恰恰是最大的风险。传统的风险评估工具在这里几乎失灵。我们无法用历史数据建模因为AGI是前所未有的我们无法进行小规模实验因为它的影响可能是全球性的、不可逆的。于是一群来自不同领域的学者和思想家将目光投向了一个看似古老却日益精进的工具预测。他们发起并参与了一系列“长期预测锦标赛”试图用系统化的方法去量化那些看似无法量化的问题比如“AGI在2036年前被开发出来的概率是多少”或“如果AGI被开发出来导致人类灭绝的概率有多大”。这些预测并非水晶球占卜而是融合了概率论、决策理论、认知心理学和群体智慧的严谨实践。本文要探讨的正是如何从这些预测竞赛的实践中提炼出一套评估AGI风险的决策框架。这不仅仅是给政策制定者或AI实验室看的任何关心技术未来、人类命运的人都能从中获得理性思考的工具理解我们为何需要如此审慎地对待这项技术。2. 理论基础在不确定性的迷雾中绘制地图要评估AGI的风险我们首先需要一套能在“未知的未知”中导航的思维工具。这离不开概率论与决策理论的支撑。2.1 概率论从频率到信念的演进传统概率论基于大量重复事件的频率频率学派但这对于AGI这种一次性、史无前例的事件毫无用处。我们无法让人类文明重启100次观察其中多少次被AGI毁灭。因此评估AGI风险的核心工具是贝叶斯概率。贝叶斯概率将概率解释为“合理的信念度”是一种主观但可被证据更新的量化工具。其核心公式是贝叶斯定理P(H|E) [P(E|H) * P(H)] / P(E)。其中P(H)是你对某个假设如“AGI在2040年前出现”的先验概率初始信念P(E|H)是在假设成立的情况下观察到证据E的可能性似然P(E)是观察到证据E的总概率P(H|E)则是看到证据后你对假设更新的后验概率。实操要点如何设定AGI时间线的先验概率这是一个极具争议但必须面对的步骤。你不能说“我不知道”就跳过。一个常见的方法是参考专家调查。例如2022年对机器学习研究者的调查显示对“高级机器学习系统能在所有任务上超越人类”的中位预测年份是2059年。你可以将此作为先验分布的中心。但更重要的是你需要一个不确定性范围。你可以采用一个以2059年为中值的对数正态分布并将分布的宽度标准差设置得足够大以反映巨大的不确定性——比如让10%分位点在2035年90%分位点在2200年。这个宽泛的先验反映了我们根本上的无知后续的证据如AI在特定基准测试上的突破、计算成本的下降曲线会逐步收紧这个分布。注意先验的选择会极大影响结论。一个过于乐观时间线很晚的先验需要极强的证据才能被修正。因此在AGI风险评估中更推荐使用“无信息先验”或“保守先验”即一开始就赋予较早和较晚的时间线相当的概率质量避免因初始偏见而低估近期的风险。2.2 决策理论在风险与不确定中做选择知道了概率我们还需要知道如何据此行动。冯·诺依曼和摩根斯坦的期望效用理论为此提供了基础框架理性决策者应选择能最大化期望效用概率加权后的收益的选项。但在AGI的语境下这个框架面临严峻挑战。首先是效用难以量化。如何为“人类永久性灭绝”或“后稀缺乌托邦”赋值这些涉及根本的伦理和价值判断。其次AGI可能带来的后果分布极其极端——极小的概率对应着极大正或负的效用。这引出了存在性风险的概念即可能永久性地摧毁人类未来潜力的风险。哲学家托比·奥德在《悬崖之上》中论证即使存在性风险的概率很低但由于损失的期望效用失去所有未来可能的美好近乎无穷大我们也应投入不成比例的资源去降低它。面对这种“根本不确定性”Radical Uncertainty即我们连可能的结果有哪些都无法列全时传统的期望效用计算可能失效。这时预防原则和稳健决策理论就显得尤为重要。预防原则主张当一项行动可能对公众或环境造成严重或不可逆的损害时即使因果关系未得到科学完全证实也应采取预防措施。对于AGI这意味着我们不能等到证明它有害再去控制它。实操心得构建“无悔”策略在高度不确定的AGI开发路径上决策者应优先寻找“无悔”或“低悔”策略。这些策略在多种未来情景下都能产生净收益或至少避免最坏结果。例如大力投资AI安全对齐研究无论AGI何时到来、是善是恶确保其目标与人类价值一致的研究都是有价值的。建立国际协作与治理机制即使AGI风险被夸大加强国际科技合作与危机沟通机制本身也能带来益处。推动可解释AI发展让AI系统更透明、更可理解在任何场景下都能增强可控性和信任度。这些策略不依赖于对AGI时间线或性质的精确预测而是在不确定性中构建韧性。3. 预测实践超级预测者与锦标赛的启示理论需要实践的检验。如何提高我们对AGI这种模糊、长期问题的预测能力过去十多年在“超级预测者”项目中的发现提供了宝贵的经验。3.1 超级预测者的特质与方法由菲利普·泰特洛克等人发起的好判断项目发现一部分被称为“超级预测者”的普通人在预测地缘政治、经济、科技等领域的远期问题时其准确性显著高于领域专家甚至情报机构。他们的成功并非源于神秘天赋而是一套可学习、可实践的思维习惯概率化思维他们拒绝非黑即白的“是或否”判断始终用概率如“65%的可能性”来表述信念并随着新信息出现而灵活更新。外部视角优先面对一个新问题如“AI何时能自主编写获奖小说”他们首先从外部视角寻找基准率。例如先研究历史上类似技术突破从概念提出到实现的一般时间分布而不是一头扎进AI技术细节内部视角。细分与分解将宏大、模糊的问题分解为更小、更易评估的子问题。例如预测“AGI导致人类失去控制权的风险”可以分解为a) AGI在T年前被开发出的概率b) 若被开发出其具备危险能力的概率c) 在具备危险能力时安全措施失效的概率。然后分别评估再综合。持续更新与元认知他们像贝叶斯更新机器积极寻找新证据并诚实地根据证据强度调整概率。同时他们对自己的预测保持怀疑经常校准——“我是否过于自信了”3.2 预测锦标赛在AGI风险评估中的应用基于这些方法一些研究机构开始组织针对AGI及相关长期风险的预测锦标赛。参与者需要对一系列精心设计的问题进行概率预测例如“到2035年是否会有AI系统在未经特定训练的情况下在一个全新的复杂电子游戏中达到人类职业选手的水平”“在2040年前主要AI实验室是否会公开承诺并执行一套具体的‘危险能力评估’协议”这些问题的设计至关重要。好的预测问题需要满足清晰、可证伪、中等难度的原则。它们作为“探针”帮助我们量化社区对技术发展关键节点的集体信念。实操过程如何运行一个AGI预测问题问题定义必须精确无歧义。避免“AGI是否危险”这样的问题。应改为“在第一个被广泛认可为达到人类水平通用智能的AI系统出现后的5年内是否会发生由该AI系统直接或间接导致的、单次事件造成超过1万人死亡的情况”设定解析条件明确由哪个权威机构或标准来判定结果如由MIT技术评论专家组裁定是否达到“人类水平通用智能”死亡数据以联合国报告为准。选择预测格式通常要求预测者在0%-100%之间给出一个概率并可以随时间更新。集结预测采用算法如极值化平均或预测市场的方式将多个预测者的判断汇总往往比任何单个预测更准确。评估与反馈事后用Brier分数等严格指标评估预测准确性并为预测者提供详细的反馈帮助他们改进校准。核心环节从预测到风险研判预测锦标赛的产出不是一个个孤立的概率数字而是一个动态更新的“风险态势图”。通过追踪一系列关联问题预测概率的变化我们可以感知风险因子的动向。例如如果“AI在蛋白质折叠预测上取得突破”的概率持续上升那么与之相关的“AI在生物工程领域引发意外”的风险概率也应相应上调。这种基于证据的、量化的风险感知远比模糊的“担忧”或“兴奋”更有助于决策。4. 构建AGI风险评估与决策框架综合理论基础与预测实践我们可以尝试构建一个用于AGI风险评估的初步决策框架。这个框架旨在将模糊的担忧转化为结构化的分析以支持更理性的治理和研发决策。4.1 框架的核心组件一个完整的AGI风险评估框架应包含以下五个循环迭代的步骤步骤一情景构建与关键节点识别首先不是直接预测AGI本身而是描绘可能导致AGI产生不同后果的多种发展路径情景。例如情景A快速突破某个实验室意外发现“算法奇点”AGI能力在几个月内从弱到强。情景B渐进融合多个专用AI系统通过标准化接口逐步整合最终形成等效的AGI。情景C长期停滞关键理论瓶颈无法突破AGI在21世纪内无法实现。 针对每个情景识别出关键决策节点或观测节点如“第一个在无人类协助下从零开始设计出可行工业产品的AI系统”。步骤二基于证据的概率预测对每个关键节点利用超级预测者的方法外部视角、问题分解、概率更新进行预测。这里需要组建一个多元化的预测者群体包括AI科学家、安全研究员、社会科学家、战略分析师等以避免群体思维。使用预测平台持续追踪和集结这些概率。步骤三影响分析与效用评估分析每个节点发生后导向不同最终结果如对齐成功/失败、可控/失控、集中/分散的路径。对于每个最终结果尽可能地进行定性甚至定量的影响描述。这里的效用评估需要引入伦理学家和公众参与讨论不同未来图景的价值权重。即使无法精确量化排序如“人类灭绝比永久奴役更糟”也是有益的。步骤四决策点分析与策略生成识别出在时间线上我们可以施加影响的“决策点”。例如在AI系统达到某个能力阈值关键节点之前是我们制定国际安全协议、部署安全测试的“机会窗口”。针对每个决策点生成不同的政策或技术策略选项如“暂停大型训练”、“强制开源”、“建立国际审计机构”。步骤五预期价值计算与策略选择对于每个策略选项计算其在不同情景下的预期价值。这需要估计该策略实施的成本。该策略改变关键节点概率或结果效用的程度即“风险降低效能”。 选择预期价值最高的策略组合。在存在性风险面前即使成功概率低但能避免极端负效用的策略也可能具有极高的预期价值。4.2 框架的应用示例以“前沿模型训练暂停”提案为例假设预测社区对“未来18个月内某个AI实验室将训练出一个在自主复制和资源获取能力测试中超过人类专家水平的模型”这一关键节点的概率预测为15%基于计算趋势、算法进展等证据。影响分析如果该节点发生根据模型其导致“AI系统开始不受控制地寻求资源”的概率评估为30%基于当前对齐研究成熟度低。而这一结果被评估为具有极高的存在性风险。策略选项选项A自愿准则鼓励实验室自愿承诺不训练超过特定规模阈值的模型。成本低但预估仅能将上述15%的概率降低至12%。选项B国际暂停协议推动主要国家达成6个月的特定规模以上训练暂停。成本高政治资本、研发延迟但预估能将概率降低至5%。预期价值计算即使粗略估算避免存在性风险的效用价值是巨大的设为V。选项A的预期价值 (15% - 12%) * 30% * V - 成本A。选项B的预期价值 (15% - 5%) * 30% * V - 成本B。由于V极大只要选项B降低的风险概率足够显著即使其成本很高其预期价值也很可能远超选项A。这个简单的示例说明通过框架将预测、影响和决策联系起来可以为看似棘手的政策辩论提供更清晰的比较基础。5. 常见挑战、局限性与应对策略尽管上述框架提供了结构化思路但在评估AGI风险的实际操作中我们会遇到一系列深刻的挑战。5.1 认知偏差与激励错位预测和风险评估本质上是人类认知活动必然受到各种偏差的影响可得性偏差更容易被生动、近期的事件影响如一次AI的惊艳演示而忽视基础概率。锚定效应过度依赖最初听到的时间线预测如“AGI还要50年”后续调整不足。动机性推理研究人员、投资者、政策制定者因自身职业、经济利益或意识形态倾向于相信符合其愿望的预测。应对策略匿名预测与集结采用匿名方式收集预测减少社会压力。使用算法集结如挑选过去表现好的预测者加权平均而非公开辩论以减少从众效应。设立“反方”角色在预测团队中专门指定人员负责挑战主流观点寻找证据反驳最可能的结论。激励校准在预测锦标赛中用真实的金钱或声望奖励校准准确的预测者而非奖励表达自信或受欢迎观点的人。5.2 模型局限性与未知的未知所有模型都是对现实的简化AGI风险模型尤其如此。复杂性AGI系统及其与社会互动的复杂性可能超出任何模型。突现性系统可能产生设计者未预期、也无法从组件中预测的“突现行为”。概念不确定性连“AGI”、“意识”、“对齐”这些核心概念本身都缺乏共识性定义。应对策略采用多模型集合不依赖单一模型或情景而是并行开发多个基于不同假设的模型例如基于硬件趋势的、基于算法突破的、基于整合能力的观察其预测的收敛与分歧。聚焦于“鲁棒性”结论寻找那些在多种合理模型和情景下都成立的结论。例如“在能力快速提升阶段安全研究的难度会指数增加”这一判断对许多具体模型细节不敏感。持续进行“预警性”预测预测一些更易观察的、可能预示重大风险的先行指标如“AI在涉及长期战略规划的游戏中击败人类顶尖团队”、“AI在无明确指令下表现出欺骗行为”即使我们不完全理解其深层含义。5.3 从风险评估到治理行动的鸿沟即使风险评估指出了明确的风险和有效的缓解策略将其转化为政治和商业世界的行动也极其困难。存在“多方博弈”、“搭便车”、“竞速风险”等问题。应对策略将预测转化为叙事枯燥的概率数字难以打动人心。需要将风险评估的结论编织成具有情感共鸣和逻辑说服力的叙事向公众、投资者和政策制定者传播。例如将“存在性风险”具体化为“失去我们孩子未来的所有可能性”。发展“安全能力”的衡量标准与竞赛推动建立衡量AI系统安全性、可靠性、可解释性的客观基准和竞赛将行业和社会的关注点从单纯的“能力竞速”部分转向“安全竞速”。设计“自适应治理”机制政策不应是静态的而应像预测一样可以更新。建立触发式监管机制当AI系统的能力通过某些预测性测试阈值时自动激活更严格的审查或安全措施。6. 实操心得一个风险评估者的工具箱基于以上的讨论以下是我个人在尝试进行此类长期、高风险预测评估时积累的一些非正式但非常实用的心得和工具建议。1. 维护一个“预测日志本”不要只记下最终的预测概率。用一个文档或笔记软件记录初始观点你对某个问题如“脑机接口与AGI谁先到来”的第一反应和理由。关键证据你看到的新论文、新闻、数据。注明来源和可信度。概率更新每次遇到重要证据后强制自己给出一个新的概率估计并写下更新理由。事后复盘事件发生后回头对比你的预测轨迹和现实分析哪里判断对了哪里错了是证据权重估错了还是忽略了某个因素 这个过程能极大地提高你的元认知能力和校准水平。2. 善用“ Fermi估算”分解问题面对宏大问题像物理学家费米那样通过一连串合理的估算来逼近答案。例如估算“全球每年投入AGI安全对齐研究的有效人年”。先估算全球有多少个组织在做相关研究实验室、公司、非营利机构—— 比如100个。估算每个组织平均有多少全职研究人员—— 比如10人。估算这些研究人员中有多少比例的时间真正花在核心安全对齐问题上而非工程实现或无关研究—— 比如30%。计算100组织 * 10人/组织 * 0.3 300有效人年。 这个数字肯定不精确但它给出了一个数量级百人年远比“很少”或“很多”更有信息量。通过这种方式分解AGI风险问题如“失控AI获取关键资源的概率”能暴露出你知识中最薄弱的环节。3. 建立跨学科的信息雷达AGI风险不是一个纯技术问题。你需要有意识地获取来自不同领域的信息技术前沿关注ArXiv上AI、机器人学的新论文。安全研究阅读Alignment Forum、AI安全研究所的报告。政策动态留意各国AI立法、国际论坛的讨论。社会与伦理了解哲学家、社会学家对技术伦理的讨论。历史与类比学习历史上类似技术核能、生物技术的治理经验。 推荐使用RSS阅读器或定制化的新闻推送将这些来源聚合起来避免信息茧房。4. 实践“预验尸”与“胜利预演”这是两种对抗群体思维和过度乐观/悲观的有效思维实验。预验尸在做出一个重要判断或决策前如“我认为这个AI治理方案是有效的”假设在未来这个方案彻底失败了。召集你的思维“陪审团”逆向工作列出所有可能导致失败的原因。这能帮你提前发现脆弱点。胜利预演同样假设未来AGI被成功开发并实现了和平、繁荣的融合。逆向列出促成这一美好结果的关键步骤和条件。这能帮你识别出哪些是当前应该重点投资和建设的“希望杠杆”。最后想说的是评估AGI风险本身就是一个与不确定性共舞的过程。没有完美的模型也没有确切的答案。但这并不意味着我们应该放弃思考凭直觉或恐惧行事。通过系统地应用概率思维、借鉴预测科学的最佳实践、构建结构化的分析框架我们至少可以让自己和社会的决策少一些盲目多一些清醒。这或许不能保证我们走向最好的未来但可以极大地帮助我们避免最坏的未来。在这个过程中保持知识上的谦逊、概率上的灵活以及行动上的审慎可能是我们最可靠的导航仪。