自动化评测

定义

AI First 的评测范式：定义评测目标后，AI 自主生成评测集、模拟用户运行评测、生成报告，乃至基于报告优化系统并持续迭代。平台从入口层面只允许 AI 操作，人无法操作。

评测集类型

三级案例递进

1. 基础评测（无UI）：Agent 通过 MCP/API 调用验证功能完备性
2. UI评测（含内容质量）：Agent 连接浏览器，评测功能+UI品味+AIGC内容质量
3. 全自动优化循环：评测→报告→代码优化→再评测，多轮迭代分数稳步上升

先决条件

• 系统 UI 规范和基础设施达标（AI 不迷路）
• 系统 AI Coding 含量高（能快速启动本地服务验证）
• Agent 可程序化连接评测平台（通过 Skill 说明链接）

与其他概念的关系

• Harness Engineering — 自动化评测是 Harness 反馈回路的工程化实现
• 验证闭环 — 自动化评测是验证闭环的系统化延伸
• Rubrics评测 — 内容质量的分级评估方法

来源

• Harness Engineering实践-AI自动评测优化平台