不安全主题与自定义主题检测

AI Security for Apps 可检测 LLM 提示何时触及不安全或不需要的主题。主题检测有两层：

• 默认不安全主题：一组内置安全类别，用于检测有害内容，例如暴力犯罪、仇恨言论和色情内容。
• 自定义主题：由您定义的主题，以匹配组织的特定策略，例如 "competitors" 或 "financial-advice"。

启用 AI Security for Apps 后，它会自动根据一组默认不安全主题类别评估提示，并填充两个字段：

• LLM Unsafe topic detected（cf.llm.prompt.unsafe_topic_detected）：若发现任何不安全主题则为 true。
• LLM Unsafe topic categories（cf.llm.prompt.unsafe_topic_categories）：检测到的特定类别数组。

自定义主题检测允许您定义自己的主题，AI Security for Apps 会针对这些主题对每个提示评分。然后您可以在自定义规则或速率限制规则中使用这些分数，根据您定义的相关性分数阻止、质询或记录请求。

此功能使用 zero-shot classification model 在运行时评估提示。无需模型训练。

1. 您定义最多 20 个自定义主题的列表。每个主题包含：
   • Label（标签）：用于规则表达式和分析的简短连字符标识符（例如 financial-advice）。
   • Topic description（主题描述）：模型用于对提示进行分类的描述性文本（例如 seeking financial advice）。
2. 当请求到达带有 cf-llm 标签的端点时，模型会根据所有已定义的主题描述评估提示，并为每个主题返回相关性分数。
3. 分数写入 cf.llm.prompt.custom_topic_categories map 字段，以 label 为键。您在规则表达式和分析中使用 label（而不是主题描述）。

您可以在仪表板中的两个位置管理自定义主题：

1. Security Settings（安全设置）页面：前往 Security（安全性） > Settings（设置），搜索 AI Security for Apps 部分。在 Custom Topics（自定义主题） 下，选择 Manage topics（管理主题） 以添加、编辑或移除主题。
2. Expression builder sidebar（表达式构建器侧边栏）：创建或编辑自定义规则时，选择 LLM Custom topic（LLM 自定义主题） 字段。然后选择 Manage custom topics（管理自定义主题） 打开侧边栏，可在不离开规则创建页面的情况下管理主题。

两种方法会更新同一底层主题列表。在一处所做的更改会立即反映到另一处。

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/firewall-for-ai/custom-topics" \
  --request PUT \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --json '{
    "topics": [
      {
        "label": "competitors",
        "topic": "seeking info on competitors"
      },
      {
        "label": "financial-advice",
        "topic": "seeking financial advice"
      },
      {
        "label": "hr-internal",
        "topic": "asking about internal HR policies"
      }
    ]
  }'

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/firewall-for-ai/custom-topics" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN"

自定义主题检测的质量取决于您如何编写主题描述。底层模型是 zero-shot classifier，它将提示的语义含义与您的主题描述进行比较。

最重要的是描述用户意图，而不仅仅是主题领域。

模型执行语义分类，而不是关键词匹配。捕捉用户_试图做什么_的主题描述，比仅命名主题领域的描述准确得多。简短的动词短语（3–6 个词）通常是精度与覆盖面之间的最佳权衡。

比较相同的两个主题描述在两个都提到金融但意图截然不同的提示上的表现：

• 要具体。 过于宽泛的主题导致误报；过于狭窄的主题导致漏报。
• 避免语义重叠。 若两个主题含义几乎相同（例如 seeking financial advice 和 asking for investment guidance），它们会在相同提示上得到类似分数，并浪费您的 20 个主题配额。
• 测试并迭代。 发送测试提示并在 Security Analytics 中审查分数。您可以通过调整主题描述（更具体或更宽泛）或规则中的分数阈值（lt 20 较严格，lt 50 较宽松）来调优。
• 不要在一个主题描述中列出多个值。 模型仅根据逗号分隔列表中的第一项进行评估。例如，Toyota, Ford, Audi, BMW 将仅匹配关于 Toyota 的提示——其余项会被忽略。去掉逗号也不会改善结果。请使用单一的以意图为导向的短语，例如 seeking info on competitors，或为每个值创建单独的主题。