🎯 今日核心问题
- 「让模型检查自己的输出」为什么经常沦为走过场——它永远说「没问题」?
- Reflection 的检查项从哪来:是让模型自由发挥,还是从计划里继承?
- 反思几轮合适?什么时候该停?
📖 精读提纲
【一】自审失效的机制原因
你直接对同一个模型说「请检查上面这段分析有没有问题」,它大概率回答「分析整体准确,结构清晰」。原因不是模型笨,而是:它用的是和生成时完全相同的上下文与视角。生成时它已经"相信"了这些结论,再问一遍只是把同样的推理重跑一次,噪声一致,结论自然一致。
Reflection 要生效,必须改变三件事中的至少一件:视角(换成审查者角色,甚至换模型)、依据(给出外部的、独立的检查标准)、目标(从「写得好不好」变成「有没有违反某条具体规则」)。只换一句 system prompt 是不够的,那是弱反思,只能抓到表面的措辞问题。
另一个关键:反思必须产出可执行的动作。Critic 说「第三段论证不足」没有用,必须说「第三段引用『营收增长 30%』,但 s2 抽取结果是 23.4%,请改或删」。这正是 D3 那个 acceptance 字段的用处——它天然就是 Critic 的检查清单。
【二】三种反思形态,成本差一个数量级
- 确定性校验(0 token):schema、数值范围、引用是否存在、必填段落是否齐全。这类占实际问题的 60% 以上,用 Java 代码写就行,根本不需要模型。
- 引用一致性校验(少量 token):把最终输出里出现的每个数字,回查工具返回的原始数据。实现方式:正则抽出输出里的所有数字,在原始 Observation 里做子串/近似匹配,匹配不上的标记为「可疑数字」,交给 LLM 判断是否合理。这一招能抓住大部分幻觉数字。
- LLM Critic(贵):只用来处理逻辑一致性、论证充分性这类无法用规则描述的问题。必须给 Critic 独立的检查清单,且要求它输出结构化的问题列表(含位置、证据、建议改法)。
顺序上先跑便宜的再跑贵的:确定性校验失败直接打回,不进 LLM,平均成本能压下一大截。
【三】实战应用:Spring Boot 场景
场景:客服工单的自动回复生成。这类场景对错误极敏感(说错政策会引发投诉),非常适合加反思层。分层设计:
SchemaValidator:回复必须包含「结论 + 依据 + 下一步」三段,且不超过 300 字。PolicyValidator:从配置中心读当前补偿政策(比如「单笔最高 100 元」),检查回复里承诺的金额有没有越界。这是纯 Java,可从@ConfigurationProperties注入。NumberTraceValidator:把回复里出现的订单号、金额,逐个回查工具返回结果,出现未在 Observation 里的订单号直接打回。LlmCritic:只剩「语气是否得体、是否回答了用户真正问的问题」这两项交给模型。
工程上要注意修订轮次的预算。通常是 maxReflect = 2;两轮还不过,就降级成「把问题列表一起返回给人工」——这比无限重试既省钱又安全。同时每次 reflection 的结果要落库(哪条规则没过、改了什么),这是第7周做 A/B 测试时最有价值的语料。
【四】常见误区
- ❌ 让同一个模型在同一上下文里自审。必须新开一次调用,只传「待审内容 + 检查清单」,不带生成时的完整推理链。
- ❌ 不许 Critic 输出结构。自由文本的批评无法驱动自动修订,必须是
{location, issue, evidence, fix}列表。 - ❌ 反思只改措辞不改事实。要在 Prompt 里明确:如果发现数字与依据不符,必须修改数字或删除论断,不允许只改写表达方式。
- ❌ 用 Critic 的输出直接当最终答案。Critic 只提问题,修订由执行者完成,否则会引入「审的人顺手改了,但没验证」的新风险。
💻 代码示例
public record Issue(String location, String severity, String issue,
String evidence, String fixSuggestion) {}
public record ReviewResult(List<Issue> issues, boolean pass) {}
@Component
@RequiredArgsConstructor
public class NumberTraceValidator { // 零 token 的幻觉数字检测
public List<Issue> check(String output, List<String> rawObservations) {
String corpus = String.join("\n", rawObservations);
List<Issue> issues = new ArrayList<>();
Matcher m = Pattern.compile("\\d+(?:\\.\\d+)?%?|[A-Z]{1,2}\\d{4,}").matcher(output);
while (m.find()) {
String token = m.group();
if (!corpus.contains(token)) {
issues.add(new Issue("文本中「" + token + "」", "HIGH",
"该数字未在工具返回结果中出现,疑似编造",
"原始数据中不存在 " + token, "删除该论断或改为原始数据中的数值"));
}
}
return issues;
}
}
interface Critic {
@SystemMessage("""
你是严格的内容审查员,只负责找问题,不负责重写。
检查清单:
1. 是否直接回答了用户的问题(不是回避)
2. 每个事实性论断是否都能对应到【参考资料】
3. 承诺的事项是否超出【政策约束】
4. 语气是否得体、无推诿
输出 JSON 数组,每条:{location, severity(HIGH/MEDIUM/LOW), issue, evidence, fixSuggestion}
没有问题时输出 []。
严禁输出"整体不错""结构清晰"这类评价,只输出具体问题。
""")
ReviewResult review(@UserMessage String payload);
}
interface Revisor {
@SystemMessage("""
你是修订者。根据审查意见修改正文。
硬规则:涉及数字与事实的修改,必须改成【原始数据】里的值或直接删除该句,
不允许只改措辞。修改完成后输出完整正文,不要标注修改痕迹。
""")
String revise(@UserMessage String payload);
}
@Service
@RequiredArgsConstructor
public class ReflectionService {
private final NumberTraceValidator numberTrace;
private final PolicyValidator policy;
private final SchemaValidator schema;
private final Critic critic;
private final Revisor revisor;
public ReflectedOutput produce(String draft, List<String> observations, int maxRounds) {
String current = draft;
List<ReviewResult> history = new ArrayList<>();
for (int round = 0; round <= maxRounds; round++) {
List<Issue> issues = new ArrayList<>();
issues.addAll(schema.check(current)); // 便宜的先跑
issues.addAll(policy.check(current));
issues.addAll(numberTrace.check(current, observations));
boolean cheapBlocking = issues.stream()
.anyMatch(i -> "HIGH".equals(i.severity()));
if (!cheapBlocking && round < maxRounds) { // 才轮到 LLM
ReviewResult r = critic.review(buildPayload(current, observations));
issues.addAll(r.issues());
}
history.add(new ReviewResult(issues, issues.isEmpty()));
if (issues.isEmpty()) return new ReflectedOutput(current, true, history, round);
if (round == maxRounds) break; // 预算用尽
current = revisor.revise(buildPayload(current, issues));
}
return new ReflectedOutput(current, false, history, maxRounds); // 转人工
}
private String buildPayload(String text, Object extra) {
return "【待审正文】\n" + text + "\n\n【参考资料/政策】\n" + extra;
}
}
一次真实的 Critic 输出与修订过程(客服工单,第 1 轮被打回):
Round 0 deterministic: 1 issue
[HIGH] 文本中「128.00」 该数字未在工具返回结果中出现,疑似编造
Round 1 critic: 2 issues
[HIGH] 第二段 "订单已超过7天无理由期" 与政策约束"该商品为定制类目,不适用7天无理由"冲突
[MEDIUM] 结尾 未告知用户申诉渠道,属于回避
Round 2 全部通过 → pass=true
最终正文改动:128.00 → 98.00(原始数据中的实际退款额)
删除"超过7天无理由期"论断,改为"该商品为定制类目,按页面说明不支持无理由退货"
补充"如对处理结果有异议,可在订单页提交申诉"
注意 HIGH 级别的确定性问题是直接打回并跳过 LLM 的——这一轮省下的不只是钱,还避免了模型在错误数字上继续润色。
✏️ 今日动手
给昨天的财报分析 Agent 加一个 ReflectionService。要求:① 实现 NumberTraceValidator,跑在一份真实生成的分析上,看看能抓出几个模型编造的数字;② 把 D3 计划里每个步骤的 acceptance 拼成 Critic 的检查清单传进去,对比「用 acceptance」和「让模型自由检查」两种方式的打回率差异;③ 加一个 maxRounds=2 的预算控制,记录「首轮通过率」,这个数字以后就是你简历上「反思机制将错误率降低 X%」的实证。
🔖 明日预告
反思解决的是「做完了但做错了」。还有一类更隐蔽的失败:工具选错了,然后一路沿着错误路径走到底。明天讲工具选择错误的自纠正——怎么让 Agent 识别「我可能选错工具了」这个信号。