Check Point 软件技术公司警告称，企业采用基于生成式人工智能的聊天机器人会带来日益增长的风险。这家网络安全公司表示，这些解决方案不再仅仅是支持界面，而是开始成为访问业务数据、关键应用程序和运营工作流程的入口。
目前， GenAI聊天机器人已应用于客户支持门户、内部助手、电子商务平台、销售系统和企业生产力工具中。与传统Web应用程序不同，这些解决方案支持开放的自然语言，从而形成了一个更难控制和监控的攻击面。
应用安全正在发生范式转变。
Check Point 认为，这种演变改变了应用安全的范式。过去，安全重点主要在于阻止针对应用程序的恶意请求，而现在，控制 AI 模型返回给用户的内容也变得至关重要。
目标是避免危险的回复、敏感信息的泄露，以及违反内部政策和法规的内容。“企业采用GenAI的速度正在迅速加快，但许多组织仍然将聊天机器人视为简单的支持界面，而实际上，这些系统已经成为通往关键应用程序、业务数据和运营流程的门户。与恶意提示或数据泄露相关的事件可能迅速演变成安全、声誉和合规性问题，” Check Point Software葡萄牙区总经理Rui Duro表示。
立即注射是主要风险之一。
已确定的主要风险之一是快速注入攻击，恶意用户试图通过隐藏指令或篡改上下文来操纵模型的行为。
这些攻击可以直接发生在对话中，也可以通过聊天机器人用作上下文的文档、文件或外部内容间接引入。
另一个重大风险是敏感信息泄露。由于许多聊天机器人可以访问内部知识、业务文档、财务数据或个人信息，因此精心设计的请求可能会导致机密内容的意外泄露。
Check Point 警告称，这些风险可能包括个人数据、知识产权、凭证、内部指令和战略信息。
不恰当的回应可能会对声誉造成负面影响。
该公司还强调了人工智能模型生成的不当、冒犯性或不合规回复所带来的风险，尤其是在客户接触环境中。
在这些情况下，声誉影响可能是立竿见影的，会损害用户信任，并使组织面临法律和合规问题。
为了应对这些挑战，Check Point 增强了其 Web 应用防火墙 (WAF) 的功能，将传统的Web应用和 API 保护扩展到生成式人工智能的对话环境。该解决方案整合了多种机制，包括防止提示注入、内容控制、数据泄露防护以及滥用模式监控。
该安全架构基于两个互补的机器学习层。第一层使用监督式模型，这些模型通过数百万条提示和攻击模式进行训练，并利用从 Lakera 的 Gandalf 项目数据集收集的超过 85 万次尝试进行强化。第二层则添加了上下文和语义分析，使防护措施能够适应每个聊天机器人的预期行为，并减少误报。
低延迟和多语言覆盖
Check Point 还强调低延迟和多语言覆盖的重要性，以确保安全体验，同时又不影响平台的使用。
据该公司称，其 WAF 可提供不到 50 毫秒的冲击保护，并支持 100 多种语言和书写系统，这一功能对于全球组织和多语言环境至关重要。
随着生成式 AI 聊天机器人从试点实验发展成为关键任务型企业应用，Check Point 认为这些平台应该被视为高价值的战略接口，而不是次要功能。
