了解应用性能对于优化至关重要。开发者通常有不同的优先级,找到最佳解决方案需要在成本、延迟和准确性等关键因素之间取得平衡。有些人优先考虑低延迟响应,而其他人则关注准确性或成本效益。
AI Gateway 的 Evaluations 提供做出明智决策所需的数据,以优化 AI 应用。无论是调整模型、提供商还是提示,此功能都能提供有关性能、速度和成本的关键指标洞察。它使开发者更好地了解应用行为,确保提高准确性、可靠性和客户满意度。
Evaluations 使用数据集,即存储用于分析的日志集合。你可以在 Logs 选项卡中应用过滤器创建数据集,帮助缩小特定日志以进行评估。
我们迈向全面 AI 评估的第一步从人工反馈开始(目前处于公开 Beta 阶段)。我们将继续构建和扩展 AI Gateway,添加更多评估器。
了解如何设置评估,包括创建数据集、选择评估器和运行评估流程。