🎯 今日核心问题

  1. 输出不确定的系统,怎么写出「不会今天过明天挂」的测试?
  2. 检索的召回率怎么测?没有标注数据从哪来?
  3. 「固定样例回归」要固定到什么程度,才既不脆也不假?

📖 精读提纲

【一】把测试分成三层,每层用不同武器

第一层:纯单元测试(确定性,必须有覆盖率要求)。工具的参数解析、SQL 校验、上下文裁剪、幂等键拼装,这些全是纯函数或可 mock 的类,用 JUnit 5 + AssertJ 直接断言,工具层覆盖率要求 80% 以上。这一层不需要模型,跑一次两秒,是最便宜的保障。

第二层:召回测试(统计型)。针对 RAG 或知识库检索,用固定查询集测 recall@k、MRR、nDCG@10。这一层不需要模型生成,只测检索器,可以在 CI 里跑。

第三层:端到端样例回归(半确定)。跑完整 Agent,检查「关键事实是否出现」而不是「答案是否逐字一致」。判定方式用断言器组合:必含实体、必含数字、不含禁用词、引用编号合法。

三层的比例大概是 7:2:1,但投入产出比是反过来的——第三层最贵,也最能防住「改了 Prompt 之后整体变差」。

【二】召回测试的数据从哪来

没有标注集是常态,三个办法凑够 30–50 条:

  1. 日志挖掘:线上或测试环境跑 100 次,人工看 30 条,把「查询 → 正确文档」记下来。半天能做完。
  2. 文档反向生成:每个文档段生成 2–3 个「这段能回答的问题」,用模型生成、人工筛。注意只用来建测试集,不用来训练。
  3. 失败样本优先:把你已知答错的 10 个 case 优先纳入,回归测试的价值 80% 来自这些。

指标只报三个就够:recall@5(前 5 条里有没有正确文档)、MRR(正确文档平均排第几)、空召回率(完全没召回到的比例)。前两个向上看,第三个必须向下看。阈值设为「当前基线 - 2%」告警,而不是绝对数字——绝对数字在不同语料上没有可比性。

【三】固定样例回归:用断言器,不用字符串比对

字符串比对必挂,因为模型每次措辞都不同。正确做法是给每个样例写一个 AnswerSpec:

这套断言器的好处是:断言写在数据文件里(YAML),加样例不用改代码;失败信息直接指出哪条断言挂了,而不是「两个长字符串不一致」。

【四】CI 里怎么跑

mvn test 跑第一层,每次提交都跑;mvn verify -Pregression 跑第三层,只在 PR 和每日定时任务跑,因为要调真实模型、几十条样例、耗时几分钟。真实模型调用的成本要控住:样例集用低成本模型跑,关键样例(10 条)再用主模型跑一遍。

💻 代码示例

断言器 + 参数化回归测试,样例从 YAML 读:

public record AnswerSpec(List<String> mustContain,
                         List<String> mustNotContain,
                         boolean citationRequired,
                         long maxLatencyMs) {

    public List<String> violations(String answer, long latencyMs) {
        List<String> v = new ArrayList<>();
        for (String s : mustContain) {
            if (!answer.contains(s)) v.add("缺失必含内容: " + s);
        }
        for (String s : mustNotContain) {
            if (answer.contains(s)) v.add("命中禁用内容: " + s);
        }
        if (citationRequired && !answer.matches("(?s).*\\[S\\d+\\].*")) {
            v.add("缺少引用标记");
        }
        if (latencyMs > maxLatencyMs) v.add("延迟超限: " + latencyMs + "ms");
        return v;
    }
}

class RegressionTest {

    private static final Pattern FAKE_ORDER = Pattern.compile("ORD-\\d{8}");

    @ParameterizedTest(name = "[{index}] {0}")
    @MethodSource("cases")
    void shouldSatisfyAnswerSpec(String caseId, AnswerSpec spec, String question) {
        AgentResult result = TestAgentFactory.create().run(question);

        List<String> violations = new ArrayList<>(spec.violations(result.answer(), result.latencyMs()));

        // 额外规则:答案里出现的订单号必须真的出现在某一步 Observation 中
        Matcher m = FAKE_ORDER.matcher(result.answer());
        while (m.find()) {
            if (!result.observationsText().contains(m.group())) {
                violations.add("疑似编造订单号: " + m.group());
            }
        }

        assertThat(violations).as("case=%s answer=%s", caseId, result.answer()).isEmpty();
    }

    static Stream<Arguments> cases() {
        return SpecLoader.load("regression/w8-cases.yaml").stream()
                .map(c -> Arguments.of(c.id(), c.spec(), c.question()));
    }
}

召回测试只依赖检索器,可以离线跑:

class RetrievalEvalTest {

    @Test
    void recallAtFiveShouldNotRegress() {
        Retriever retriever = TestBeans.retriever();
        List<QueryDoc> set = SpecLoader.loadQueries("eval/retrieval.yaml");

        double hit = 0;
        double reciprocalRank = 0;
        for (QueryDoc q : set) {
            List<String> ids = retriever.search(q.query(), 5).stream().map(Doc::id).toList();
            int idx = ids.indexOf(q.docId());
            if (idx >= 0) { hit++; reciprocalRank += 1.0 / (idx + 1); }
        }
        double recall5 = hit / set.size();
        double mrr = reciprocalRank / set.size();

        System.out.printf("recall@5=%.3f mrr=%.3f n=%d%n", recall5, mrr, set.size());
        assertThat(recall5).isGreaterThanOrEqualTo(0.80);
        assertThat(mrr).isGreaterThanOrEqualTo(0.60);
    }
}

【五】测试的投入顺序

只有一天写测试,按这个顺序花:工具参数校验 2 小时 → 幂等键形状 1 小时 → 20 条回归样例 3 小时 → 召回评测 2 小时。前三项挡九成线上事故,第四项决定你能不能把准确率写进简历。最不值得先写的是返回码与 Getter 覆盖率——数字好看,对应不上任何真实故障。

【六】回归集的维护

回归集会腐坏:知识库更新、工具改签名、样例订单号过期。三个习惯:样例用测试库固定数据、跑前 reset;按模块分文件(order.yaml、kb.yaml)改哪跑哪;每条失败样例记 owner 与日期,三个月没人管的直接删——测试集是当前承诺清单,不是资产清单。跑挂时先怀疑样例过期,再怀疑模型退化,因为模型版本通常被钉住,数据却天天在变。

✏️ 今日动手

写 3 个工具单测、20 条回归样例(其中 5 条是你已知答错的)、一个召回评测集。然后把 mvn verify -Pregression 挂进 GitHub Actions,PR 时自动跑并把结果打印到日志。

🔖 明日预告

测试证明它在你的机器上是对的。明天让它在你机器之外也能跑:Dockerfile、compose、密钥不进镜像、日志和指标可看。