Promptfoo 是什么
Promptfoo 是评估大模型应用的命令行工具和库，适合将零散的试问整理为可以重复运行的测试集。开发者可以比较提示词与模型配置，查看失败案例，并在修改应用后进行回归检查。它提供的是评测流程而非通用排行榜，测试设计决定了结果能说明什么。
这是需要安装或部署的项目；公开资料已核对，未进行部署后的实际效果测评。
适合谁，什么时候选
适合
需要持续比较模型配置、控制提示词回归问题的应用开发团队。
不优先选择
希望凭少量测试分数判断模型在所有场景下优劣的使用者。
能力与限制
- 配置化评测：组织提示词、模型提供方和测试用例。
- 结果对照：比较输出和断言结果，定位失败案例。
- 持续检查：将评估接入 CI/CD，便于跟踪版本变化。
使用前留意
- 自动评分和模型裁判可能偏差；安全测试仅限自己拥有或获授权的系统。
怎样开始了解 Promptfoo
建议从下面的小任务开始；这是编辑建议，不是登录实测记录。
- 选取真实但已脱敏的任务，明确期望结果与检查标准。
- 配置模型连接并运行少量对照测试。
- 人工检查失败与误判案例，再建立稳定的回归测试集。
使用条件
仓库标注 MIT。调用远程模型可能收费和发送测试内容；运行前核对当前环境要求、数据流向和评测成本。
来源与核验记录
2026-09-10 核对官方仓库 README、公开仓库状态与许可标识。页面中的上手建议属于编辑整理；未安装项目或调用付费模型，未进行实际效果测评。图标采用项目维护方的官方 GitHub 头像，不代表另行设计的独立产品标志。
- 内容依据
- Promptfoo 官方项目说明 · 查看来源 · 官方项目文档
- 资料整理
- 2026-09-10 · 公开资料已核对
- 实际测试
- 未进行登录后的实际效果测评
选型与步骤属于编辑建议。公开资料核对不等于付费功能测试；价格、地区和账号权益以实际使用时为准。
