跳到主要内容

AI评估器管理指南

1. 功能介绍​

本指南详细介绍如何在系统中创建、配置和管理AI评估器。评估器的主要作用是评估AI提示词的准确率和性能表现，帮助用户快速了解AI模型在特定场景下的实际效果。

2. 创建评估器​

操作步骤​

  1. 进入AI评估器管理页面
  2. 点击新增按钮
  3. 填写以下基本信息：
  • 名称：为评估器设置一个清晰的功能名称，如"文本翻译质量评估"、"智能搜索效果评估"、"内容摘要准确性评估"等
  • 评估器描述：简要说明该评估器的主要功能、评估标准和适用场景

创建完成​

点击"确认"后，系统将自动创建评估器并跳转至编辑页面，您可以开始进行详细的评估器配置。

3. 评估器配置​

在评估器编辑页面，界面分为两个主要区域：

  • 左侧区域：展示评估器的配置结构和逻辑流程，便于管理和调整评估逻辑
  • 右侧区域：提供实时预览功能，可即时查看评估器的运行效果

3.1 添加评估内容​

您可以通过以下两种方式添加评估内容：

  • 智能生成：点击右上角生成按钮，系统将自动生成合适的评估内容
  • 手动输入：直接编辑评估内容，满足个性化需求

3.2 配置AI模型参数​

在模型配置区域：

  • 模型选择：从下拉菜单中选择适合的AI模型
  • 参数设置：根据需求调整模型相关参数

3.3 配置评估参数​

完成所有编排后，点击右下角的调试按钮，可以打开右侧的调试页面，查看评估器的运行效果。

3.4 运行​

点击右上角运行按钮，可查看评估器的实际运行效果和评估结果。

3.5 保存配置​

完成所有配置后，点击右上角的保存按钮，系统将保存您的评估器配置。

4. 创建评测集​

在评估器列表中，点击更多>评测集按钮，进入评测集创建页面。

4.1 创建参数列配置​

输入要测评的提示词参数列信息，并单击保存按钮。

4.2 点击新增数据，创建要测评的数据​

点击新增数据按钮，创建要测评的数据集，输入相关参数信息后单击保存。

5. 调试配置​

在评估器列表中，点击更多>调试按钮，进入调试配置页面。

5.1 选择要测评的提示词​

选择要调试的提示词和测试的数据集问题

5.2 选择评估器要评估的问题参数​

选择要调试的评估器要评估的问题参数

5.3 点击确认调试​

点击确认调试按钮后，系统将根据您的配置，对选择的提示词的回答进行自动评估，并返回详细的评估结果。