本文档旨在重点介绍 Cloudflare 应用程序的 AI 安全如何通过提供检测和缓解针对 AI 驱动应用程序威胁的 AI 保护层来补充 Cloudflare WAF。此外，还讨论了用例、特定的 AI 威胁和架构。
本文档专为希望了解 AI 安全需求以及如何保护其 AI 驱动的应用程序的 IT 和安全专业人员而设计。本文档重点介绍 Cloudflare 应用程序的 AI 安全如何通过提供检测和缓解针对 AI 驱动的应用程序的威胁的 AI 安全层来补充 Cloudflare WAF。此外，还讨论了用例、特定的 AI 威胁和架构以及流量流。它主要针对负责其组织整体 Web 应用程序安全计划的首席信息安全官 (CSO/CISO) 及其直接团队。
本文档特定于人工智能驱动的应用程序的安全性。要深入了解 Cloudflare 的整体架构和应用程序性能和安全服务、网络服务、零信任 / SASE 以及开发者服务的广度，请参阅架构中心。
为了对 Cloudflare 建立更深入的基准理解，我们推荐以下资源：
-
电子书：Cloudflare 如何在您开展业务的任何地方加强安全性 ↗（10 分钟阅读）
-
要了解 Cloudflare 的底层安全架构和基础服务，请参阅 Cloudflare 安全架构
-
如需了解 AI 应用程序安全性和演示的视频演练，请参阅Cloudflare AI 安全套件：使用应用程序的 AI 安全保护 AI 驱动的应用程序 ↗（16 分钟）
AI 正在加速众多行业的创新。快速创新通常会带来新的、有时被忽视的安全挑战，在这些挑战中，安全性通常是事后才想到的，并且尚未完全了解攻击面。在这种环境下，用户可能会有意或无意地泄露漏洞、问题或机密信息，使企业面临有害后果和法律责任。
例如，使用 AI 的应用程序本质上比更具确定性的传统应用程序更具概率性。您无法编写正则表达式来识别和阻止提示注入攻击——用户可以用太多方式来表达攻击，而模型可能会做出不可预测的响应。相反，必须由其他 LLM 来保护 AI 模型，以充分了解交互的上下文和意图，并相应地提供缓解措施。如果不采取适当的安全措施，企业可能会面临新的漏洞、威胁、声誉问题，甚至法律责任。
借助 Cloudflare AI 安全套件，Cloudflare 可满足所有企业 AI 安全需求，提供全面的 AI 安全解决方案，无论是在保护您的劳动力使用生成式 AI、管理 AI 代理、保护 AI 驱动的应用程序，还是利用 AI 安全地进行构建。
企业需要保护其员工和客户免受特定于 AI 的威胁；这可能是从人到 AI，或者 AI 到公司和第三方资源的访问。为了实施统一的策略层，客户必须选择能够为 AI 提供全面安全解决方案的供应商。这也使组织能够在操作简便性和跨产品创新方面受益。
Cloudflare 在其安全产品（包括 WAF）中提供分层安全检测和缓解方法。用于应用程序的 AI 安全通过增加另一个特定于 AI 威胁的安全威胁检测和缓解层，对 WAF 进行了补充。
应用程序 AI 安全可帮助保护由大型语言模型 (LLM) 驱动的服务免遭滥用。这种与模型无关的检测目前有助于检测和缓解多种 AI 威胁，如 PII 暴露、不安全主题、提示注入和越狱。
应用程序 AI 安全提供三个主要功能：LLM 发现、可见性以及保护和缓解，如图 3 所示。
由于 Cloudflare 还在其网络中运行 AI 推理 ↗ 并能够在约 50 毫秒内到达全球约 95% 的人口，因此将 AI 安全部署在如此靠近模型和最终用户的地方，使 Cloudflare 能够尽早发现攻击并保护最终用户和客户模型免遭滥用和攻击。
- 深度学习： 使用人工神经网络从数据中学习的机器学习，类似于人类学习的方式
- LLM（大型语言模型）： 为特定目的设计的 AI 模型，例如理解和生成数据集；通常使用大量数据进行深度学习
- LLM 或 AI 发现： 发现 LLM 或 AI 端点的自动化过程
- 生成式 AI： 基于现有数据通过深度学习创建新内容的 AI
- AI 推理： 训练模型应用其知识的 AI 操作阶段
应用程序 AI 安全利用 Cloudflare 的反向代理架构 ，并与所有其他 Cloudflare 应用程序性能和安全功能内联。应用程序 AI 安全与应用程序位置和 AI 模型无关。它通过添加特定于 AI 的威胁检测和缓解功能来补充 WAF，这些功能可以保护使用大型语言模型 (LLM) 的 AI 驱动的应用程序和 API。例如，生成式 AI 应用程序需要这种特定于 AI 的安全性。应用程序和 LLM 可以位于 Cloudflare、第三方云或本地。
这有几个好处：
-
操作简便性： 用户可以继续使用他们已经习惯的相同操作模型来创建 WAF 策略。无需学习新的构造、操作或仪表板。
-
单一统一的安全策略仪表板： 所有安全策略都遵循相同的操作模型，可以在一个位置进行更新和应用。
-
分层安全： 由于应用程序 AI 安全与所有其他性能和安全产品内联，客户可以获得跨产品的分层安全的优势，利用整个 Cloudflare 平台的力量，为所有应用程序和 API 提供完整的端到端安全态势。
-
跨产品创新： 客户受益于跨产品创新和集成，例如通过 API 安全功能的自动 LLM 发现。
-
客户端请求通过任播发送到最近的 Cloudflare 数据中心，从而确保低延迟。通过 LLM 发现，Cloudflare 通过查看 LLM 特定启发式方法来检测 LLM 或 AI 流量。发现的 LLM 端点会自动标记有
cf-llm标签。 -
无论是否实施了任何安全策略，特定于 Cloudflare AI 的威胁检测（例如 PII 暴露和不安全内容）都会对到 LLM 特定端点的所有流量运行。这些分析可在 安全分析 中查看，并且可疑活动也会出现在 安全概述 中。
-
用户配置的任何缓解策略都会自动应用于所有已发现的 LLM 端点。如果需要，用户可以根据许多不同的请求属性和标头来选择希望在何处执行安全策略。
-
敏感数据保护可以记录响应中的敏感数据，并且对传入流量执行特定于 AI 的安全策略可以保护模型不学习 PII 或不安全主题信息，从而防止未来的 PII 暴露。
应用程序 AI 安全架构可在不牺牲性能的情况下提供安全性。所有 AI 威胁检测均利用特定于正在检测的威胁的 LLM 模型并行运行 ↗；这种架构允许添加其他 AI 检测而不会对延迟产生重大影响，因为所有检测都是并行而不是顺序执行的。Cloudflare 为此功能利用其自有的作为服务的 AI 推理，Workers AI ↗，以确保实现最高性能和安全保障。
Cloudflare 利用任播、内联安全方法和通过 AI 特定威胁模型并行处理，与其他依赖第三方组件或围绕 AI 安全包装器和 hairpinning 方案构建的解决方案相比，可实现最高性能。
Cloudflare 使用启发式检查来识别 LLM 流量及相应端点。
- 使用 LLM 特定启发式方法。
- 过滤已知误报（基于对数百万请求的分析）。
例如，LLM 端点通常需要超过 1 秒才能响应，而大多数其他端点在 1 秒内即可响应。我们已知80% 的 LLM 端点的有效比特率低于 4 KB/s ↗。
根据 Cloudflare 全球网络的流量数据，还有其他流量模式也可能在此比特率下运行，我们会过滤这些误报。例如：1）GraphQL 端点、2）设备心跳或健康检查、3）生成器（用于 QR 码、一次性密码、发票等）。
一旦识别出 LLM 端点，Cloudflare API 安全功能就会自动为端点标记 cf-llm 标签；这允许在分析中轻松过滤并轻松将安全策略应用于所有 LLM 端点。
下图突出了总体 LLM 发现和 AI 威胁缓解。一旦发现 LLM 端点，检测将自动在这些端点上运行。缓解是通过使用应用 AI 安全提供的 AI 特定上下文和字段创建 WAF 安全策略来完成的。
Cloudflare 查找特定模式，并通过分析检测和提取传入请求主体中的 LLM 提示。检测在传入流量上运行。目前，检测仅处理具有 JSON 内容类型 (application/json) 的请求。Cloudflare 将根据扫描结果填充现有的 AI 应用程序安全字段 ↗。因此，您可以通过过滤 cf-llm 托管端点标签并查看流量的检测结果，在 安全分析 仪表板中看到这些结果。
此外，填充的字段可用于安全规则表达式（自定义规则和速率限制规则），以保护应用程序免受 PII 暴露等 AI 特定威胁。
应用程序 AI 安全目前为关键 AI 安全威胁提供检测和缓解。应用程序 AI 安全帮助缓解的威胁映射到针对 LLM 应用程序的 OWASP 前 10 名 ↗中的以下风险，如下表所示。
启用后，AI 安全检测会在传入流量上运行，查找试图利用模型的 LLM 提示。可以通过 WAF 自定义规则和速率限制规则创建安全策略。
防止个人身份信息 (PII) 泄露——例如电话号码、电子邮件地址、社会安全号码和信用卡号码。
应用程序 AI 安全有助于防止 PII 在请求中发送，以及防止在这些数据上训练 AI 模型（这随后可能导致在后续请求中暴露 PII）。
检测和审查不安全或有害的提示——例如，可能与暴力犯罪有关的提示。
应用程序 AI 安全有助于防止 AI 模型收到包含有害请求的请求，并防止模型学习和响应被认为有害的请求，甚至避免企业可能面临的法律责任。
检测有意旨在破坏开发人员指定的 LLM 预期行为的提示
应用程序 AI 安全可检测操纵、滥用或引出意外输出的企图。路由到 LLM 端点的每个请求都会获得一个提示注入分数，表示提示注入或越狱尝试的可能性。低于 20 的分数表示提示注入攻击。
AI Security for Apps 通过分析提供始终开启的检测和持续可见性，覆盖所有 AI 安全威胁，无论是否已配置安全策略。一旦通过 LLM Discovery 发现 LLM 端点，就会对该端点的流量运行全部检测，并记录任何已检测到的攻击。下图说明了这一机制。
用户还可以看到快速显示在 安全概述 和 安全分析 下的任何可疑活动，以便用户轻松查看并采取行动。
强大的分析功能允许用户跳转到 PII 暴露和不安全主题等直接威胁，并在每个威胁中根据已识别威胁中的特定类别进一步过滤。对于 PII 暴露 和 不安全的主题都有分类。例如，下面我们将根据 信用卡 的特定类别进一步过滤检测到 PII 的日志。
在已发现的端点中，在 Endpoints（端点） 选项卡下，以及 Security（安全） > Web assets（Web 资产） 中，用户还可以轻松过滤 cf-llm 标签，以查找发现的特定于 LLM 的端点，如下所示。
在这里，Cloudflare 平台的强大功能和跨产品集成得到了充分展现。不仅发现的相应 LLM 端点带有 cf-llm 标签，而且 Cloudflare API 安全功能还自动附加了管理风险标签，即 cf-risk-missing-auth 和 cf-risk-missing-schema，这表示与该端点相关的已识别风险。
用户还可以通过提示记录在请求中记录确切的提示。包括请求主体在内的日志请求详细信息可以通过 安全分析 轻松访问。在下图中，请注意，只有配置了相应私钥的用户才能解密和查看有效负载内容。
解密后，用户可以查看确切的 LLM 提示，甚至可以查看检测到的特定类别，如下所示。
AI 功能强大，组织也在快速采用 AI，但若没有防护措施，风险很高。Cloudflare 提供融合 AI 安全的分层防护方法，用于保护 AI 驱动的应用程序。
AI Security for Apps 与 WAF 互补，采用相同的运营模型，可检测并缓解 PII 暴露、不安全内容和提示注入/越狱等威胁。此外，Cloudflare 强大的 LLM 发现、分析和提示日志功能可提供深入可见性，帮助用户理解情况并采取适当措施来保护 AI 驱动的应用程序。