什么是Skill-Eval
Skill-Eval v0.4.0 是一个自主进化的智能体技能评估引擎，专为系统性评测和排名来自 ClawHub 及其他注册中心的 AI 代理技能而设计。该工具通过多阶段评估流程，结合评分标准、错误分类和改进反馈循环，不仅对技能进行量化打分，还能自动识别其价值所在：是提升了模型的核心能力（capability uplift），还是固化了特定工作流偏好（encoded preference）。其核心理念在于，一个真正有价值的技能必须能在可测量的维度上显著优于无此技能时的表现——无论是输出质量、行为一致性，还是效率权衡。Skill-Eval 支持跨模型评估，允许分别配置执行模型、评判模型和优化模型，从而避免自评偏差并确保结果在不同基座模型间具有一致性。整个系统持续学习，每次评估后都会将经验沉淀到知识库中，并反向更新评估逻辑本身，形成闭环演进机制。
核心功能特点
- 支持多模型角色分离：可独立配置执行模型（运行技能）、评判模型（打分）和优化模型（改进技能），有效降低评估偏差
- 具备完整的评估生命周期：从预检分析、测试用例设计、双轨执行（带/不带技能）、分层打分（确定性检查 + LLM 评判）到技能卡生成与排行榜更新
- 内置自我进化机制：评估完成后自动提取失败模式与成功经验，更新知识库并反馈至主评估逻辑，实现评估体系本身的持续优化
- 提供结构化输出：生成 HuggingFace 风格的技能卡片和交互式排行榜，包含每项技能的详细得分、优势短板及推荐等级
- 支持技能级改进引擎：对低分技能自动触发重写流程，基于已验证的优化模式精简冗余内容、强化行为约束，并重新评估以提升整体表现
适用场景
Skill-Eval 特别适用于需要长期跟踪和比较各类 AI 技能实际效能的研发团队或开源社区。例如，在一个大型 Agent 平台项目中，开发者可以批量注册数百个自定义技能（如代码解释器、SQL 查询优化器、文章撰写助手等），并通过 Skill-Eval 定期运行全量评估，快速识别哪些技能真正带来价值、哪些只是增加了 token 消耗而无实质提升。对于依赖外部 API 或命令行工具的‘依赖型技能’，系统会在预检阶段标记环境缺失问题，防止因配置不全导致误判。此外，当某技能被判定为‘条件推荐’或更低时，引擎会自动启动改进流程，尝试将其重构为更紧凑、更具指令性的行为契约，而非冗长的参考手册。这种自动化迭代尤其适合敏捷开发场景，帮助团队在资源有限的情况下优先投入精力于高潜力技能的打磨。同时，由于支持跨模型对比（如 Claude vs GPT-4.1），它也适用于多云环境下的技能兼容性验证，确保所选技能在各种基座模型上均能稳定发挥预期作用。