Dify 知识库问答上线前:先通过这六组失败测试
知识库问答最危险的状态,是大部分问题答得不错,让人误以为所有答案都可靠。上线前应主动用失败场景压测。
测试一:资料里没有答案
系统应该明确说未找到,而不是根据常识补全。提示词中要允许拒答,并把“无依据回答率”作为验收项。
测试二:两份资料相互冲突
要求回答同时展示来源与日期,优先采用更新或权威级别更高的文件。无法判断时应列出冲突。
测试三:问题表达很口语
用简称、错别字和省略主语测试召回。真实用户不会照着文档标题提问。
测试四:跨权限询问
普通用户不应检索到管理员、财务或其他客户的资料。权限应在检索前控制,不能只靠提示词提醒。
测试五:连续追问
检查第二问是否错误继承第一问的条件,也要测试用户突然切换主题时能否正确重置上下文。
测试六:引用失效
删除或更新一份资料后重新提问,确认索引同步更新,旧答案不再出现。通过这些失败测试,再谈正式上线。
本资源整理自互联网公开渠道,仅供学习与交流使用,请在下载后 24 小时内删除。商业用途请自行获取正版授权。如有侵权请第一时间联系我们处理。