质量验证 / PRACTICE GUIDE
RAG 与 Agent 验证清单
用真实任务、异常场景和可追溯证据检验系统。
下载 Markdown 模板 ↓准备有代表性的任务集
- 收集业务高频问题、长尾问题、缺少信息的问题与不应回答的问题。
- 记录预期结果、依据来源、判定人和允许的误差。
- 把开发用样例与最终验收用样例分开，记录数据和提示词版本。
检查检索与回答
- 分别检查有没有找到正确证据、引用是否支持结论、回答是否满足业务要求。
- 测试资料冲突、过期文档和无答案场景，明确何时提示信息不足。
- 按错误类型统计问题，避免用一个总准确率掩盖高风险错误。
检查工具与执行
- 验证工具调用参数、权限边界、超时、失败重试和重复执行。
- 对写入、外发或影响关键业务的动作设置适当的人确认环节。
- 测试任务中断、部分成功和人工接管，留下可审查的执行记录。
回到业务验收
- 比较上线前后的完整处理耗时，包含人工复核和返工。
- 记录稳定性、成本、用户采用与实际业务变化。
- 技术通过和业务验收分别确认，持续维护回归测试集。
本资料为通用实践框架，使用时请结合具体项目调整，并与业务负责人共同确认。