什么是Eval Driven Development
Eval Driven Development（评估驱动开发）是一种专为 Python LLM 应用设计的系统化测试与优化方法论，其核心在于通过埋点、数据采集、评估测试和根因分析，构建一个完整的评估闭环。该工具链以 `pixie-qa` 为核心，提供从代码插桩到自动化测试的一整套能力，旨在帮助开发者快速定位 LLM 应用中的质量问题并持续改进。整个流程强调‘动手实践’而非纸上谈兵，要求开发者在理解现有应用的基础上，直接修改代码、运行命令并产出可工作的测试流水线。所有由 pixie 生成的文件都统一存放在项目根目录下的 `.pixie` 文件夹中，包括记忆文档 `MEMORY.md`、SQLite 观测数据库 `observations.db`、黄金数据集、测试脚本和辅助工具脚本，确保了工作流的高度组织性和可追溯性。
核心功能特点
- 为 Python LLM 应用提供端到端的评估驱动开发（Eval-Driven Development）完整生命周期支持
- 通过 `@observe` 装饰器或 `start_observation` 上下文管理器，对现有函数进行无痕插桩，捕获输入输出和中间状态
- 集成多种内置评估器（如 FactualityEval, ValidJSONEval），支持事实准确性、格式合规性等关键质量维度的量化打分
- 提供 `pixie test` 命令行工具，可运行评估测试并输出详细的逐条结果与推理过程，便于失败案例分析
- 支持基于真实应用输出生成黄金数据集，确保评估样本的代表性和有效性
- 具备强大的失败根因分析能力，结合 trace ID 可回溯完整的调用链路和 span 树，精准定位问题源头
适用场景
Eval Driven Development 特别适合那些需要保证输出质量、安全性或一致性的 LLM 应用场景。例如，在客户服务问答系统中，可以通过事实性评估（FactualityEval）验证回答是否准确无误；在结构化数据提取任务中，使用 JSON 格式校验器（ValidJSONEval）确保输出符合预定 schema；对于基于检索增强生成（RAG）的应用，则可借助 ContextRelevancyEval 检查返回内容的相关性。无论是简单的问答机器人还是复杂的智能体路由系统，只要涉及 LLM 调用并期望达到一定质量标准，这套工具都能提供强有力的支撑。它尤其适用于敏捷迭代的团队环境——当某个功能上线后出现性能下降时，开发者可以快速插入观测点，收集一批新数据，运行针对性测试，找出导致分数降低的具体原因（比如提示词设计不当或检索结果不相关），然后精准修复并验证效果，形成‘测量-改进’的良性循环。整个过程无需引入复杂框架，仅需在原有代码基础上添加几行注解和配置，即可开启高质量的评估之旅。