什么是Auto Arena
Auto Arena 是一个专为 AI 模型与智能体设计的端到端自动化评估工具，旨在无需人工预设测试数据的情况下，快速、公正地对比多个模型的实战表现。它通过自然语言任务描述自动生成多样化的测试查询，并发收集各目标模型的响应，并借助强大的评判模型进行成对比较，最终输出清晰的胜率排名与可视化报告。整个流程高度自动化，支持断点续跑和灵活配置，极大提升了模型选型与优化的效率。无论是科研团队还是企业研发人员，都能通过 Auto Arena 在真实场景中量化不同模型的能力差异。
核心功能特点
- 基于任务描述自动生成多样化测试查询，无需人工设计用例
- 支持多模型并发请求与响应收集，提升评估效率
- 采用双盲成对比较机制消除位置偏差，确保结果公平
- 自动生成评估标准（rubrics）并持续优化测试覆盖范围
- 提供 Markdown 报告、胜率图表及热力图等多维度结果展示
- 支持断点续跑与增量更新，中断后可恢复或切换评判模型
适用场景
Auto Arena 特别适合需要频繁对比不同大语言模型或智能体在生产环境中的实际表现的团队。例如，在开发客户服务聊天机器人时，可通过设定‘电商客服助手’的任务描述，自动测试 GPT-4、Qwen-Max 等不同模型在多轮对话、意图识别和情绪处理上的差异。企业也可利用其评估微调后的模型与原版的性能提升，或在接入新模型前进行基准测试。此外，学术研究场景中，研究人员可快速复现模型对比实验，验证特定能力（如推理、代码生成或安全性）的优劣。对于追求客观决策的团队而言，Auto Arena 提供的胜率矩阵与详细分析报告，能有效支撑技术选型和迭代策略制定。