人工反馈是评估 AI 模型性能的宝贵指标。通过纳入人工反馈,你可以更深入地了解模型响应的感知方式以及从以用户为中心的角度表现如何。然后,此反馈可用于评估中计算性能指标,推动优化,最终增强 AI 应用的可靠性、准确性和效率。
人工反馈基于直接人工输入衡量数据集的性能。该指标计算为日志上给出的正面反馈(点赞)百分比,这些日志在 Cloudflare 仪表板的 Logs 选项卡中标注。此反馈通过考虑输出的真实世界评估来帮助优化模型性能。
本教程将引导你在 Cloudflare 仪表板中使用 AI Gateway 为评估添加人工反馈。
在下一指南中,你可以了解如何通过 API 添加人工反馈。
在 Cloudflare 仪表板中,前往 AI Gateway 页面。
Go to AI Gateway ↗- 前往 Logs(日志)。
- Logs 选项卡显示与数据集关联的所有日志。这些日志显示关键信息,包括:
- Timestamp:交互发生的时间。
- Status:请求是否成功、被缓存或失败。
- Model:请求中使用的模型。
- Tokens:响应消耗的 token 数量。
- Cost:基于 token 使用的成本。
- Duration:完成响应所需的时间。
- Feedback:你可以为每个日志提供人工反馈。
- 点击要审查的日志条目。这将展开日志,允许你查看更多详细信息。
- 在展开的日志中,你可以查看其他详细信息,例如:
- 用户提示。
- 模型响应。
- HTTP 响应详情。
- 端点信息。
- 你将看到两个图标:
- 点赞:表示正面反馈。
- 点踩:表示负面反馈。
- 根据你对该特定日志条目的模型响应评价,点击点赞或点踩图标。
在对日志提供反馈后,它将成为评估流程的一部分。
当你运行评估(如设置 Evaluations指南中所述)时,人工反馈指标将基于收到点赞反馈的日志百分比计算。
运行评估后,在 Evaluations 选项卡上审查结果。 你将能够基于成本、速度以及现在的人工反馈查看模型性能,以点赞的正面反馈百分比表示。
人工反馈分数以百分比显示,展示数据库中正面评价响应的分布。
有关运行评估的更多信息,请参阅设置 Evaluations文档。