在人工智能技术飞速发展的今天，一个全新的风险领域正引起顶尖科技公司的高度警惕：当数百万个AI智能体（AI agents）在互联网上相互交互时，可能带来的潜在危险。谷歌DeepMind（Google DeepMind）近日联合多个机构宣布，将投入1000万美元资金，专门用于研究多智能体系统的行为模式及其安全风险。
这项研究由谷歌DeepMind的AGI安全与对齐研究负责人罗欣·沙阿（Rohin Shah）主导。他指出，随着能够无需人类监督即可执行任务的智能体大规模进入市场，并且这些智能体能够接受其他智能体发出的指令，一种全新的风险类别正在形成。这种风险并非科幻电影中的遥远想象，而是即将在现实世界中出现的紧迫问题。
在刚刚过去的谷歌I/O大会上，基于智能体的工具成为核心亮点。然而，就在业界为这一技术突破欢呼的同时，谷歌DeepMind已经开始未雨绸缪。他们联合了由埃里克·施密特和温迪·施密特创立的慈善基金会施密特科学（Schmidt Sciences）、英国政府的登月计划机构ARIA、英国非营利研究机构合作AI基金会（Cooperative AI Foundation）以及谷歌的慈善机构Google.org，共同设立了这笔研究基金。
沙阿表示，这笔资金的主要目标是推动科技公司之外的研究力量。他强调：'学术界的长处在于能够展望更远的未来，从事那些在工业实验室中并非优先考虑的工作。'目前，多智能体安全领域几乎可以说是一片空白，而谷歌DeepMind希望改变这一现状。
随着越来越多的AI智能体被部署并开始协同工作，我们可能很快会触及一个临界点，届时那些曾经只存在于想象中的风险场景将变为现实。沙阿用一个生动的比喻来说明这一点：'人类社会也是如此，我们的制度能够完成任何个体都无法实现的事情。'他认为，距离智能体在经济领域大规模部署、使潜在风险成为真正值得担忧的问题，可能只剩下几个月的时间。这正是他想要提前做好准备的原因。
那么，这些风险具体是指什么呢？沙阿和施密特科学可信AI项目负责人詹姆斯·福克斯（James Fox）的担忧，主要集中在现有互联网问题的'超级增强版'上：诈骗、提示注入攻击（prompt injections，即向AI智能体输入恶意指令，使其变成自我引导的恶意软件）以及其他形式的网络攻击。沙阿解释说：'我们观察现在人类的行为，然后思考这些行为的智能体版本会是什么样子。'
福克斯则从更宏观的角度指出：'我们拥有的数字公共空间是社会运作不可或缺的一部分，必须确保它不会陷入彻底的混乱。'当被问及是否考虑过更极端的末日场景，比如广泛的经济崩溃时，沙阿笑着回答：'如果讨论的是今年年底之前，那肯定不会。'（距离那时只有6个月了！他补充道：'好吧，再过一段时间。'）
沙阿和福克斯都认为，理解大量多智能体系统相互交互时可能发生的情况，唯一可行的方法就是进行逼真的模拟。他们希望研究人员将AI智能体放入沙盒环境中，观察它们的行为。通过孤立地研究单个智能体甚至小规模智能体群体，根本无法预测将会发生什么。福克斯指出，不能假设基于大语言模型（LLMs）的AI智能体总是理性行动，而复杂性正是来自于同时发生的大量交互。
有趣的是，一些研究人员，包括谷歌DeepMind的一个团队，已经提出：人工通用智能（artificial general intelligence，AGI）可能并非来自单个超级智能模型，而是来自某种智能体群体智能，其中整体的能力远大于各部分之和。这一观点为当前的研究增添了更深层的意义。
谷歌DeepMind并非唯一一家对其正在构建的技术风险发出警告的顶级AI公司。几周前，Anthropic发布了一套基于网络安全'零信任'方法的AI智能体部署指南。该方法从一开始就假设计算机系统存在漏洞，智能体是攻击者，并且入侵事件必然会发生。
总部位于特拉维夫的网络安全公司Akeyless的联合创始人兼首席技术官拉斐尔·安吉尔（Refael Angel）对此表示认同。他认为，理解智能体系统带来的新风险至关重要。他指出，过去所有的安全方法都假设所涉及的机器是由人类编写的软件，执行固定的操作路径。而智能体打破了所有这些假设：它会推理，会即兴发挥，甚至可能因为被要求阅读的文档中隐藏的一句话而被劫持。
安吉尔对这项新的资助计划表示欢迎，但他也谨慎地指出：'安全研究人员有时会忽视已经存在的枯燥问题，而倾向于研究更奇特、更假设性的问题。'然而，福克斯提醒说，几年前还只是假设的风险，现在已经成为非常现实的问题：'未来的到来比人们预期的要快得多。'
