我们中的三人在约翰·霍普金斯大学健康安全中心调查科学技术创新如何影响公共卫生和卫生安全，其他两人在非营利智库兰德公司研究和开发应对公共政策挑战的解决方案。

尽管我们看到了 AI 辅助生物研究改善人类健康和福祉的前景，但这项技术仍然不可预测，并存在潜在的重大风险。我们敦促各国政府加快行动，明确哪些风险最值得关注，并确定针对这些潜在风险应采取哪些适当的检测和缓解措施。

简而言之，我们呼吁采取一种更加谨慎的方法，借鉴数十年的政府和科学经验，降低生物研究中大流行规模的风险。

快速实验

GPT-4o 是一个“多模态”LLM。它可以接受文本、音频、图像和视频提示，并且已经接受了从互联网和其他地方抓取的大量数据的训练——这些数据几乎可以肯定包括数百万项经过同行评审的生物学研究。GPT-4o 的能力仍在测试中，但以前的工作暗示了它在生命科学中的可能用途。

例如，2023 年，卡内基梅隆大学研究人员发现，使用 GPT-4 的系统——Coscientist 可以设计、规划和执行复杂的实验，如化学合成。在这种情况下，系统能够搜索文档、编写代码并控制机器人实验室设备。

OpenAI 于 5 月发布了 GPT-4o，预计将在未来几个月内发布 GPT-5。大多数其他 AI 公司也同样改进了他们的模型。到目前为止，评估主要集中在独立运作的单个 LLM 上。但 AI 开发人员希望 AI 工具（包括 LLM、机器人和自动化技术）的组合能够在最少的人工参与下进行实验，比如涉及候选药物、毒素或 DNA 片段的操纵、设计和合成实验。

这些进步有望改变生物医学研究，但也可能带来重大的生物安全和生物安全风险。事实上，全球一些政府已经采取措施，试图减轻前沿 AI 模型的此类风险。

2023 年 7 月 21 日：美国政府获得了 7 家 AI 公司的自愿承诺，即在发布模型之前测试 AI 模型的生物安全和网络安全风险。（另有 8 家公司于 2023 年 9 月 12 日同意做出承诺）。 2023 年 7 月 26 日： 前沿模型论坛（Frontier Model Forum）成立，从而促进前沿 AI 系统安全和负责任开发。 2023 年 10 月 30 日：美国政府签署了一项关于安全、可靠和值得信赖的 AI 开发和使用的行政命令。 2023 年 11 月 1 日：在 AI 安全峰会上，29 个国家政府签署了《布莱切利宣言》，承认 AI 在“网络安全和生物技术等领域”存在风险。 2023 年 11 月 2 日：英国和美国 AI 安全研究所宣布成立。英国 AI 安全研究所随后成立，获得近 1.3 亿美元资金。（美国 AI 安全研究所随后获得资金 1000 万美元）。 2024 年 3 月 8 日：170 多名科学家同意自愿承诺负责任地使用 AI 进行生物设计；实施工作尚未进行。 2024 年 5 月 21-22 日：在 AI 首尔峰会上，16 家公司同意《前沿 AI 安全承诺》，表示将在 2025 年 2 月巴黎 AI 峰会之前发布 “以严重风险为重点的安全框架”。 2024 年 11 月 20-21 日：参加 AI 安全研究所国际网络的十国政府在旧金山举行第一次会议。 2025 年 2 月 10-11 日：法国将在巴黎主办 AI 行动峰会。（截至 2024 年 11 月底，同意在此次会议之前公布安全框架的 16 家 AI 公司中，已有 3 家公布了安全框架）。

这些都是在短时间内取得的可喜成就，应该得到支持。然而，目前尚不清楚所有这些活动降低了多少风险——部分原因是这些机构的大部分工作尚未公开。

安全测试

除了考虑风险之外，一些 AI 模型的开发人员还试图确定哪些因素对其模型的性能影响最大。一个主要的假设是遵循 scaling law：LLM 性能随着模型大小、数据集大小和计算能力的增加而提高。然而，scaling law 无法可靠地预测哪些能力可能出现，以及何时出现。

与此同时，由于政府没有制定政策说明哪些风险亟待解决以及如何降低这些风险，OpenAI 和 Anthropic 等公司已经遵循了他们内部制定的评估协议。（亚马逊、Cohere、Mistral 和 xAI 等拥有 AI 系统的公司尚未公开对其模型的生物安全评估。）在这些情况下，安全测试需要自动评估，包括使用多项选择题的评估、人类试图从被评估的模型中引出有害能力的研究，以及要求个人或团体在有或没有 AI 模型的情况下执行任务的对照试验。

在我们看来，即使公司进行自己的评估，此类评估也是有问题的。通常，他们过于狭隘地关注生物武器的开发。例如，Meta 进行了研究，以了解其开源 LLM Llama 3.1 是否可以增加“化学和生物武器”的扩散。同样，Anthropic 评估了 Claude 是否能够回答“与高级生物武器相关的问题”。

这种方法的问题在于，“生物武器”并没有一个公开可见、公认的定义。当单独使用时，这个词并不能区分小规模和大规模风险。各种病原体和毒素都有可能被用作武器。但是，很少有病原体和毒素可能导致影响数百万人的伤害。此外，许多病原体能够造成严重的社会破坏，但不被视为生物武器。

另一个问题是评估往往过于关注基本的实验室任务。例如，在 OpenAI 与洛斯阿拉莫斯研究人员合作进行的评估中，所测试的能力可能会被用来开发某种「邪恶的东西」，如破坏农作物的病原体，但也是开展有益的生命科学研究的重要步骤，而这些研究本身本身并不令人担忧。

除此之外，迄今为止进行的评估都是资源密集型的，而且主要适用于 LLM。它们通常采用问答方式，要求人类提出问题或查看模型的答案。最后，如前所述，评估人员需要检查多个 AI 系统如何协同工作——这是美国政府目前要求的，但在工业界却被忽视了，因为这些公司只是测试自己的模型。

如何确定优先级？

那么，更好的方法是什么呢？

鉴于资源有限且 AI 发展迅速，我们敦促政府和 AI 开发人员首先专注于减轻那些可能导致最大生命损失和社会破坏的危害。涉及传染性病原体的疫情就属于这一类——无论这些病原体影响的是人类、非人类动物还是植物。

在我们看来，AI 模型的开发人员与安全和安保专家合作，需要指定哪些 AI 能力最有可能导致这种大规模的危害。与单个公司或专业学术团体制定的清单相比，不同专家普遍认同的“关注能力”列表，即使他们在某些问题上存在分歧，提供了一个更可靠的出发点。

作为原则证明，今年 6 月，我们召集了 AI、计算生物学、传染病、公共卫生、生物安全和科学政策方面的 17 位专家，在华盛顿特区附近举办了为期一天的混合研讨会，目的是确定生物研究中哪些 AI 支持的能力最有可能导致大规模死亡和破坏。研讨会参与者的看法各不相同。不过，大多数小组成员认为，在 17 种 AI 能力中，有 7 种“很有可能”或“非常有可能”在全球范围内爆发新的人类、动物或植物病原体。它们是：

亟需指导

目前正在研究所有这些 AI 能力的潜在有益应用。因此，政府在制定政策时，必须在降低风险的同时保留这些益处，或就更安全的替代品提供指导，这是非常重要的。

但是，只有在明确哪些 AI 能力会构成大流行病规模的生物安全和生物安保风险后，才能进行有效评估。换句话说，正在测试的任何能力与发生高风险事件的可能性之间，必须存在很强的相关性。如果通过安全测试检测到这种能力，则可以采取有针对性的措施来降低风险。

在测试阶段，从 AI 模型中获取有害能力的尝试可能会产生不同的结果，具体取决于所使用的方法和所做的努力。因此，为了有效，能力测试必须足够可靠。此外，评估应由对技术有深入了解的专家进行，但他们不受开发 AI 系统或被评估系统的公司的制约。目前，这是一个相当大的困难，因为那些最了解如何测试 AI 模型的人经常参与他们的开发。

一些人有理由地认为，由于目前 AI 生物安全测试所需的时间和资源，小型 AI 公司和学术实验室无法进行此类测试。在最近的 GPT-4o 评估中，OpenAI 与 100 多名外部红队成员合作，以找出该模型的潜在有害能力。然而，如果涉及的更多步骤实现自动化，AI 系统的安全测试可能会变得简单、常规且经济实惠。这种转变在网络安全等其他领域已经发生，软件工具已经取代了人类黑客。

11 月 20 日至 21 日，来自已建立 AI 安全研究所或致力于建立 AI 安全研究所的国家/地区的代表将齐聚旧金山，讨论公司如何在实践中以安全和合乎道德的方式开发 AI 系统。

明年 2 月，各国元首和行业领袖将在巴黎举行的全球 AI 行动峰会上，讨论如何“基于关于安全和安保问题的客观科学共识”建立对 AI 的信任。

所有这些都令人鼓舞。但第一步是通过积极主动的程序，让不同的独立专家参与进来，达成客观的科学共识。

原文链接：

编译：阮文韵

如需转载或投稿，请直接在公众号内留言