海外智库观察251：人工智能风险国际科学评估的未来

2024年8月27日，卡内基国际和平基金会发布了其技术与国际事务项目的副研究员Hadrien Pouget和牛津马丁学院人工智能学院附属机构人工智能治理中心的研究学者Claire Dennis等人共同撰写的文章《人工智能风险国际科学评估的未来（The Future of International Scientific Assessments of AI’s Risks）》。文章指出，尽管各国政府和国际机构正在针对AI风险的管理进行悄悄的外交，各种实体以及世界各地的科学家团体正在权衡自己对人工智能全球理解的潜在贡献，但对这个问题的公开讨论却很少，且这一问题的挑战难度并不总是得到充分认识。参与者们应当如何共同努力，来实现人工智能风险达成国际科学协议这一共同目标的问题仍有待解决。为此，作者介绍了建立AI风险国际共识的发展历程，指出了目前AI风险治理的现状，并提议建立联合国为主导、以独立科学报告互补的双轨机制，来更好地构建科学的AI 风险国际共识。

首先，作者介绍了建立人工智能风险的基于科学的国际共识的发展进程，并指出了联合国地位的重要性。这最早是2018年启动人工智能全球伙伴关系（Global Partnership on Artificial Intelligence，GPAI）的动机之一，其针对一系列人工智能问题开展了研究，旨在架起理论与实践的桥梁。但2022年底ChatGPT的发布引起了人们对先进人工智能系统影响的特别关注。因此，《高级人工智能安全国际科学报告》应运而生，其综合了关于人工智能安全的学术研究，并重点关注了三个关键领域，来促进对前沿人工智能相关风险达成共同的科学理解。一，风险的主要驱动因素即先进人工智能系统的扩展能力；二，评估模型和降低风险的技术能力的现状；三，特定风险类别包括恶意使用和系统性影响。迄今为止，这份报告是全球了解先进人工智能风险的最重要一步，其对关键风险进行了冷静而审慎的概述，承认了主要领域的不确定性和争论，并且报告过程吸引了来自不同机构、地理区域以及人工智能及相关领域的专业领域的多元化撰稿人。然而，该过程有一些局限性。首先，其有意地缩小范围，仅关注了“高级”和“通用”人工智能。这些类型的系统具有值得特别关注的独特风险，但它们只包含人工智能的一小部分，忽略了推荐算法和面部识别系统等已经对社会产生巨大影响的工具。其次，尽管许多国家和公司更关心人工智能的潜在好处，该报告只关注风险。专家小组的爱尔兰代表发表了一份简短的异议，“指出了对报告总体基调过于消极的担忧”。第三，虽然报告纳入了一系列国际视角，但整个过程并不完全具有包容性。只有几十个国家参与其中，其中大部分是高收入国家，其中英国政府单方面制定了目前报告的制作程序，并授予主席完全的编辑控制权。第四，该报告仅依赖于“高质量”的已发布来源，没有纳入机密或专有数据或接收和考虑公众意见的机制。这种限制代表了不可避免的妥协，特别是对于这样一个新的、紧迫的努力来说。事实上，该报告最初为期一年的授权是含蓄地承认未来的迭代可能需要有所不同，但最终，世界需要的是一套更加持久和制度化的流程来促进对人工智能风险的共同科学理解。鉴于联合国在世界政治中的独特地位及其广泛的会员国，联合国进程将是这一领域的一项极其重要的发展。因此，本文的关键问题不是联合国是否应该做某事，而是联合国应该做什么，以及其他行为体如何补充和加强其工作。例如，英国主导的报告或任何直接的后续报告都需要根据联合国的努力重新定义。

随后，作者阐释了其建议实施双规机制进行AI科学风险评估的原因。理想的方法需要每年进行一次科学严格的评估，涵盖所有相关问题。通过利用当前数据和多样化的全球视角，将学术界、政策制定者、民间社会和行业成员聚集在一起，最终获得全球政策制定者的支持。然而，这之间固有的紧张关系使得任何一个组织几乎不可能在一个过程中实现所有这些雄心壮志。一是AI范围带来了直接的困境，如果缩小评估范围可能会代表着全球先进人工智能风险的隐含优先顺序，使那些更关心未能利用和拥有该技术所带来的经济和政治后果的国家感到沮丧，如果扩大任何报告的范围将使快速行动变得更加困难，并且会出现分歧，导致进程被破坏。二是是技术挑战，即使对于狭隘地关注先进人工智能系统风险的评估来说，跟上人工智能世界的最新发展也很困难，更不用说通用人工智能。因此，保持报告的最新性需要利用不同来源的数据，特别是来自学术界和私营部门的数据，还有世界各地政府和民间社会的数据。这样做需要处理与公司的复杂关系，其中利益冲突、法律问题和竞争也可能会给他们选择共享的数据带来影响。如果不能完全依赖学术同行评审，还需要严格审查一般使用的数据和信息来源，并且可能包括利用许多不同语言和格式的输入，这构成了实际挑战，这些挑战将使跟踪快速发展的对风险的科学认识和撰写年度科学报告成为一个密集的过程。解决这些技术挑战可能需要授权一大批高素质的科学家独立行动，但这种方法可能与让全球政策制定者承认评估结果作为协调国际行动的合法基础的最终目标相矛盾。很难想象包括联合国在内的一个组织或机构能够完成这些相互竞争的任务并解决这些固有的紧张局势。然而，两个或多个实体一起工作或并行工作，可以通过发挥各自的比较优势来相互补充。

因此，作者建议采用以联合国为主导、以独立科学报告互补的双轨方法，并阐释了其实施上的三点建议。双轨方法一方面可以利用联合国独特的地位和聚合能力提供合法性并推动成员国的政治参与，另一方面可以借助科学的轨道确保能够及时、深入地分析高级人工智能的风险。在实施上，首先，作者建议联合国在设立国际人工智能科学专家小组的进程和任务时，充分发挥其聚合全球政策制定者的优势，构建类似政府间气候变化专门委员会（Intergovernmental Panel on Climate Change, IPCC）的组织，该组织关注的问题范围应当包括但不限于高级人工智能系统的风险，具体的范围应当是成员国间相互妥协的结果。此外，作者提供了联合国建立该组织所可以借鉴的三类既有模式。其一，IPCC模型：该机制的报告包含政策制定者摘要（Summary for Policymakers, SPM），这一摘要需要其所有成员国的政府代表逐行审批。由于报告的达成意味着高度的政治认同，因而这一模式的优点在于促进了科学家起草撰写的报告与国家和国际政策高度融合，但其劣势也较为明显，政治认同的形成过程通常需要五到七年的时间，且需要成员国投入大量的资金和专业知识。其二，生物多样性与生态系统服务政府间科学政策平台（Intergovernmental Science-Policy Platform for Biodiversity and Ecosystem Services, IPBES）：该平台的架构与IPCC类似，但具有较强的灵活性，其多元化成都也较高，表现为成员国参与初步的讨论议题界定过程、确定评估的目标、范围与大纲，且政策制定者摘要无需像IPCC般严格审查，同时，该平台的工作组根据需求成立或解散，所获取信息的来源也更加多元丰富，且更加积极主动地寻求多方利益相关者的意见。然而，该模式的弊端在于政治认同难以达成。其三，联合国原子辐射效应科学委员会（United Nations Scientific Committee on the Effects of Atomic Radiation, UNSCEAR）：该模式下参与的成员国数量较少，其通过一个由联合国大会任命的科学家委员会研究电离辐射在空气中的暴露水平及其影响。成员国的政府负责提供数据、委托报告并审查草案，但不负责批准报告。然而，作者认为这一模式并不适用于人工智能治理，因为该委员会的科学委员会成员数量较少，且所涉及的国家大多为拥有稳定的辐射技术的国家，与人工智能问题的全球属性不符。

随后，作者进一步阐释了实施双轨制的第二点建议。由于联合国过于受到政治化的影响、其所讨论的议题过于广泛、报告耗时长久的不足，作者建议由一个科学机构每年发布关于高级人工智能风险的独立科学报告予以补充，并建议将报告的编辑控制权交由一个独立国际学者组成的团队，使得具有较高独立性和技术能力的科学团队能构与包括产业界在内的广泛利益相关者建立联系，并根据严格的科学标准审查不同的信息来源。作者建议科学轨道应当拥有一个永久性的机构基地、长期的资源支持以及持续性的任务与议程设置，因而，这需要一个国际组织作为主办单位以负责、承办、组织最终负责报告撰写的独立学者团队。作者认为该主办机构需要满足四个标准：其一，具备相关能力，这要求该机构拥有充足的资源、广泛的网络、丰富的专业知识与经验；其二，具由独立性，要求该机构不会被任何团体或观点所左右；其三，具有稳健性，要求该机构能够在不受主办机构或其成员、资助方的政治和商业争端影响的情况下保持正常运作；其四，具有全球包容性，要求该机构能够吸引广泛、多样化的国家参与。根据这四个标准，作者列举了三个备选组织，分别为人工智能安全研究所网络、经济合作与发展组织（Organization for Economic Co-operation and Development, OECD），与独立的科学组织如国际科学理事会（International Council for Science, ISC）（评估情况如Table 1所示）。

具体而言，人工智能安全研究所网络具有举办全球人工智能安全峰会的经验的优势，但其也存在诸多不确定性，比如该组织的成立时间较晚，尚未发展成熟，不同国家的人工智能安全研究所还可能面临资源或国内的限制，进而难以推动人工智能治理工作的进程。此外，当前拥有人工智能安全研究所的国家数量较少且均为美欧国家中“志同道合”的国家，且并不包括在开发前沿人工智能系统中居前列的中国。因而，如果要将人工智能安全研究所网络设置为主办机构，需要推动全球范围内的广大国家建立人工智能安全研究所，以增强全球合法性。第二，经合组织由于其在人工智能领域的治理经验和在发布技术性专家主导的全球问题追踪报告方面的良好记录使其成为一个可靠选择，但经合组织作为一个由38个较为富裕且以美欧为主的国际组织比联合国更加具有排他性，其最大的缺陷在于全球代表性不足。第三，以国际科学理事会为代表的致力于协调众多国家和国际科学机构的国际非政府组织代表了一种摆脱政府间进程及其地缘政治负担的路径。然而，该机构的缺点在于其在这一领域的贡献潜力在一定程度上取决于其资金状况。由于ISC的资金通常是按项目提供的，因此ISC工作的可靠性和独立性在某种程度上将取决于资金结构。此外，由于科学团体所形成的报告的数据大多来源于研发出前沿人工智能系统的企业，因而，需要构建更为普遍和成熟的机制将产业界的最新信息向科学界传递。对此，作者建议可以构建可信的中介机构合理的使用数据，并在向科学界提供数据前过滤、汇总和匿名化敏感数据。

最后，作者指出，为了使双轨治理相得益彰，联合国应当谨慎地协调两者关系，使得每一方都能发挥其比较优势，同时双方能够形成互补以发挥最大效用，联合国与独立的科学团队可以通过签署谅解备忘录的方式表达共同承诺，进行对接，并在备忘录的基础上相互提供成员或观察成员以促进合作，也还可以通过开展定期会议，或使用更加合适的机制增加不同工作组成员的交流。该协调机制的建立旨在促进联合国进程与外部科学报告的对齐，确保它们相辅相成而非发展为竞争或排他关系，以形成对人工智能风险的共同理解，从而促进协调的国际行动。

2024年8月19日，卡内基国际和平基金会发布了由斯坦福国际安全与合作中心博士后Lindsay Rand撰写的文章《将人工智能讨论引入高级别核对话的风险（The Risk of Bringing AI Discussions Into High-Level Nuclear Dialogues）》。作者指出，在迫切需要减少核风险的共识之际，对新兴技术过于笼统的讨论可能会毫无成效，甚至可能会破坏共识。

首先，作者陈述了上个月核政策制定者和专家为审查《不扩散核武器条约（Treaty on the Non-Proliferation of Nuclear Weapons，NPT）》执行情况的重要会议所做的准备。在日内瓦召开的会议上，要求更加关注AI对核政策影响的呼声在各种讨论中不绝于耳，这呼应了核政策界内部最近多次推动在以核安全为重点的对话中考虑新兴技术。然而，筹备委员会会议的争议十分激烈，扼杀了国家政策制定者和核安全专家之间的有效对话。这是因为人们逐渐加大了对AI对核安全和更广泛国际安全影响的关注程度，其从可能减少人类决策时间的参与速度加快，到可能增加对第二次打击生存能力的担忧的自动化目标检测，甚至可能增加升级倾向，各种担忧层出不穷。同样，在美国，国务院国际安全咨询委员会最近发布了一份报告，强调了围绕致命自主武器系统的定义和法规缺乏共识。在国际上，也有人呼吁五个核武器国家（Permanent Five members，P5）在其进程中讨论AI在核指挥控制中的作用，而观察家们呼吁P5就保持人类在核决策过程中的责任的重要性发表联合声明。

其次，作者进一步指出，在外交层面将AI注入核政策讨论可能存在潜在陷阱，引入AI的复杂性可能会分散对其他关键核政策问题的注意力，甚至可能以一种进一步加深外交障碍的方式与未解决的分歧领域联系起来。因此，作者建议政策制定者在将关于AI的讨论引入官方核安全对话之前回答以下问题，并进行了具体阐述：哪些论坛可以进行关于AI的有成效的讨论？哪些具体话题可以真正促进更有成效的对话？谁应该促进和参与这些讨论？首先，在论坛选择方面，虽然理论上利用AI讨论来克服其他外交障碍非常吸引人，但它引发了一些实际问题。当在现有的外交论坛上讨论时，AI有可能与其他核政策分歧联系起来，问题联系已经阻碍了其他军控和风险降低努力的对话。在AI的背景下，过早将这项不断发展的技术纳入官方对话可能会导致各国拒绝解决指挥和控制问题，这也将使减少与AI相关的风险变得更加困难。相反，应该构建新的专门空间用于AI对话可能会产生更专注、技术上有根据的方法。这可以模仿在常规的某些常规武器（Convention on Certain Conventional Weapons, CCW）审查会议上基于建议建立的关于LAWS领域新兴技术的政府专家组（Group of Governmental Experts, GGE）。从这些专注的讨论中产生的见解随后可以整合到更广泛的核政策论坛中，甚至是外交层面的论坛，如筹备委员会会议和P5进程等。其次，在话题选择方面，增强讨论内容的具体性将会提高新论坛的生产力。讨论应该集中在AI用于国家安全目的的具体用例上。最初的讨论可能会从关注明确定义、技术上有根据的话题中受益，如AI在卫星图像分析中的使用，用于核查或者用于可能出现的争议解决机制，而不是像AI在核指挥控制系统中这样更有争议和模糊的问题。如果讨论基于共同商定的定义和评估指标，讨论将更加有成效。然而，这绝非易事。目前即使是为LAWS设立的GGE等团体也未能就自主武器系统等高级应用的定义达成一致。但从长远来看，发展共享的技术词汇并就评估AI能力的特定用例的标准和程序达成共识，不仅会为研发状态提供更大的清晰度，还可能有助于创建与AI相关的风险的更共同的理解，从而减少炒作。最后，在参与者方面，尽管一些核政策专家和外交官可能对AI有深入的了解，但这并不是参加核安全论坛的先决条件。在正式论坛上讨论AI之前，应该更加小心确保政策制定者接受基础信息，这些论坛对拥有更深入专题专业知识的外部参与者是封闭的。包括AI技术专家以及专注于AI-核融合的战略家和政策制定者，可能会提高对话的质量和深度。更跨学科的方法将更好地解决技术的复杂性，并可能逐渐提高对话的质量。

最后，作者指出，鉴于AI和核武器交汇处的无数风险，这两个问题的交汇点当然值得在某些国际论坛上进行深思熟虑的讨论。然而，在已经受到重大政治障碍困扰的外交层面的核政策对话中引入AI是不容易或不会产生成果的。政策制定者应该深入考虑这种讨论的可行性，以确保政策是深思熟虑的、集中的、技术上有根据的，从而最终使得讨论更加富有成效并且不会进一步加深分歧，使已经复杂的地缘政治格局更加复杂。