qinghuan
← 回到知识探索

AI 直觉 / 案例拆解

答案带着引用,为什么还是错的?

沿一条虚构的开放时间问答,分别检查找到了什么、说了什么、引用究竟支持什么。

展开本文目录
  1. 先检查该用的依据有没有进来
  2. 再检查句子是否保留了原文条件
  3. 让引用成为检查入口
  4. 记住这三点
  5. 别把例子用过头
  6. 自己试一小步
  7. 查原始资料
  8. 找一份资料继续练
开始前,会这些就够了
  • 知道 RAG 会先检索资料再生成回答
遇到不熟悉的词,先看这 4 个解释
RAG(检索增强生成)
先从外部材料中检索有关内容,再让生成模型结合这些内容回答的做法。它把找到资料与组织答案连接起来,便于利用可更新的材料,无需把每次更新都训练进参数。
引用
在生成答案的具体说法旁标出依据,让读者能返回原文检查。有效引用需要对应真实来源、相关段落和所支持的结论,不能只给一个看起来权威的链接。
幻觉
在需要事实或材料依据的任务中,常用来指模型生成与事实冲突、或超出给定材料支持的内容。句子可能读起来很顺,因此要把是否通顺、是否有依据和是否真实分开检查。
候选召回
检索流程里,先从全部资料中选出一批可能有用的候选,供后续排序和核对。这一步关心有没有把需要的资料找进来,并不保证每份候选都相关。
打开完整术语小抄 ↗

设想一个练习用的图书室问答:材料甲写“平日九点开放”,材料乙写“周末十点开放”。用户问周六几点开门,系统却答“九点”,旁边还有能点开的材料甲。引用是真的,答案依然没有回答对。这是虚构情境,用来拆开一个常见推论:有来源链接,不等于来源支持结论。

RAG 把检索材料交给生成模型,有助于让回答利用外部资料,也给核对留下入口。但从入库到答案,每一步都可能丢掉限制条件,不能只检查最终有没有方括号或链接。

先检查该用的依据有没有进来

若系统只找到了材料甲,问题首先在候选资料。可能乙没有入库,也可能切分时把“周末”与时间拆开,还可能查询没有匹配到相关片段。此时单纯修改回答语气没有补上缺失证据;应先保存检索结果,确认原始资料、切分和筛选各自是否正确。

即使乙被找到,也要看它是否真的传给模型。候选过多时可能发生截断,去重或版本过滤也可能选错记录。排查时区分“库里有”“检索返回了”“实际上下文包含了”三个事实。只看数据库里存在一份正确通知,不能证明这次回答读过它。

再检查句子是否保留了原文条件

假如甲乙都在上下文里,系统仍答九点,就要查看生成如何使用证据。它可能混淆平日与周末,也可能把两条通知合成一个不成立的概括。引用能打开,只证明来源编号可访问;材料提到同一地点,也只证明主题有关。还需要核对时间、对象、范围与否定条件。

可以把一句长答案拆成几个可核对的陈述,逐个找原文支持。如果答复同时声称“周末十点开放”和“无需预约”,而来源只说开放时间,后半句仍没有依据。不要因为前半句正确,就让整句共享一张“已核验”的标签;必要时删掉无依据部分或说明尚不清楚。

ALCE 研究把回答正确性与引用质量分开评价,并检查陈述是否得到所引材料支持、是否混入无关引用。它的具体自动评分也有模型误判限制。因此这里借用的是分开检查的思路,不把某个自动评分器当成最终事实裁判,更不搬用旧基准数字描述所有现有系统。

让引用成为检查入口

一个易核对的答复,应让读者能从具体陈述回到相关片段,并看到必要的标题、版本或日期。把十个来源统一堆在结尾,会增加核对负担;给不存在的编号补一个看似相近的链接,更会掩盖错误。来源编号的合法性可以由程序检查,内容是否支持结论还需要另一层判断。

练习时先保留问题、实际输入片段、回答和引用映射四份记录。分别制造资料不足、资料冲突和引用错配,观察系统如何停止下结论。资料可靠且被正确使用,才能支撑答案;RAG 给出的是一条可以追查的处理路径,不是一个自动免错的标签。

记住这三点

  • 引用真实、主题相关、足以支持陈述,是三项不同检查。
  • 排错时分开核对入库内容、检索候选和模型实际上下文。
  • 把长答案拆成可核对陈述,没有依据的部分应删去或保留不确定性。

别把例子用过头

  • 示例图书室与时间完全虚构,不是某个真实服务的营业信息。
  • 自动引用评价有自己的误差,不能代替全部来源核验。

自己试一小步

如何让一个“引用能打开但答错了”的问题被检查出来?

  1. 写两条条件不同的自拟通知,再写一个故意混淆条件的答案。
  2. 分别列出引用存在检查与内容支持检查所需的信息。
  3. 把答案拆成短陈述,为每条标出支持、矛盾或资料不足。

做到这些,就算完成

  • 不以链接能打开代替原文支持。
  • 标注能落到具体陈述及片段,而不只给整篇答案打一个总分。
  • 能区分检索没拿到证据与生成没正确使用证据。

查原始资料

想确认一个细节,先看这份资料对应的部分,不必从头读完所有文档。

找一份资料继续练

先选一项,按下面的范围继续学;不必从头读完整门课程。