安全研究人员近期披露了多个AI系统的安全漏洞。这些漏洞使得攻击者可以通过对抗性样本、提示注入等手段来欺骗或操纵AI模型。
其中，针对大语言模型的提示注入攻击尤为令人担忧。攻击者可以通过在输入中嵌入特殊指令，让AI模型执行未经授权的操作。
业界呼吁加强AI系统的安全测试和防护措施，建立完善的安全评估体系。
AI系统面临的主要安全威胁包括三类：对抗性样本攻击、提示注入攻击和模型窃取攻击。对抗性样本攻击通过在输入数据中添加微小的扰动，使AI模型产生错误判断。例如，在图像中添加人眼不可见的噪声，就能让图像识别系统将'停车'标志误判为'限速'标志。
提示注入攻击是针对大语言模型的新型威胁。安全研究人员已经演示了多种攻击方式，包括通过精心构造的提示词让AI模型泄露系统提示信息、绕过安全限制生成有害内容，甚至访问用户的私人数据。
在模型窃取攻击方面，攻击者通过大量查询AI系统的API接口，可以逆向工程出与目标模型功能相似的替代模型，从而窃取知识产权。
为应对这些威胁，安全行业正在开发专门的AI安全防护方案，包括输入验证、输出过滤、异常检测等多层次防护机制。专家建议，AI系统的开发者应在产品发布前进行全面的安全测试和红队评估。