🎯 今日核心问题

  1. 样本外只测一次就够了吗?测第二次会污染什么?
  2. Walk-Forward 和简单 7:3 切分,哪个更接近真实交易?

📖 精读提纲

【一】样本内/样本外的本质是「信息隔离」

样本内(in-sample, IS)是你用来找规律的数据,样本外(out-of-sample, OOS)是你用来验证规律的数据。规则只有一条:OOS 的数据,在你定稿之前一个字都不能看。

为什么这么严格?因为「看一眼再改一版」这个动作本身就是一次参数搜索。经典例子:你做了 20 次「微调参数 → 看一眼样本外」的循环,每次样本外表现都略有提升,你以为自己找到了好策略。实际上你已经把样本外当成了训练集,20 次尝试后,样本外的「最好结果」里有大约 1 - (1-0.05)^20 ≈ 64% 的概率是噪声造成的假阳性(假设单次随机跑赢基准的概率是 5%)。这就是所谓的「样本外污染」——一旦被污染,那块数据就永久失效了。

所以规范做法是:一次性留出最后 20% 到 30% 的时间段(比如 2022-01 之后)封存,只在最后验收时打开一次。平时所有开发、调参、对比,全部在样本内完成,样本内用滚动窗口自己跟自己玩。

【二】A股的时间切分必须顺着市场状态切

随机打乱做 K-Fold 在时序数据上是错的,因为它会用 2024 年的数据训练、2020 年的数据测试——未来信息泄露。时序数据只能按时间顺序切。

更重要的是:切分点不能切在一段牛市中间,否则样本内和样本外的市场状态分布差太远,验证结论没意义。A股比较干净的切分点有:2015 年 6 月(杠杆牛顶)、2018 年底(单边熊结束)、2021 年 2 月(核心资产见顶)、2024 年 2 月(微盘股流动性危机出清)。用这些节点做样本外边界,得到的是「策略在完全不同的市场环境里还能不能活」的答案,而不是「参数是否还适配同一段行情」。

【三】实战应用:Walk-Forward 滚动检验

Walk-Forward(滚动前推)是样本内外切分的工程化版本。做法:设定训练窗口长度(比如 3 年)和测试窗口长度(比如 6 个月),每次用前 3 年数据选参数、用紧接着的 6 个月做样本外测试,然后把窗口整体向前滚动 6 个月,重复这个过程。

它的价值在于产出一串样本外业绩,而不是一个点。2018 至 2024 年,你可以得到 10 到 12 段彼此独立(或不重叠)的样本外窗口。如果这 12 段里有 9 段夏普为正、3 段为负且负的都出现在 2018 和 2024 这种极端年份,那策略的可信度就比「单一 7:3 切分出来的一个漂亮数字」高得多。

一个具体对比:某多因子策略简单 7:3 切分,样本内年化 26%、样本外年化 19%,看起来很棒。改用 3 年训练 / 1 年测试的滚动检验,12 段样本外的中位数年化只有 11%,且有 4 段为负——真实可期待的水平是 11%,不是 19%。简单切分之所以虚高,是因为它只测了一次,运气好就赢了。

【四】常见误区

💻 代码示例

import numpy as np
import pandas as pd

# a) 一次性样本内外切分(按日期,不打乱)
def split_by_time(df, date_col, oos_start, oos_ratio=None):
    df = df.sort_values(date_col)
    if oos_start is not None:
        cut = pd.Timestamp(oos_start)
    else:
        cut = df[date_col].quantile(1 - oos_ratio)
    is_df  = df[df[date_col] < cut]
    oos_df = df[df[date_col] >= cut]
    print(f"IS: {is_df[date_col].min().date()} ~ {is_df[date_col].max().date()} "
          f"({len(is_df)} 行) | OOS: {oos_df[date_col].min().date()} ~ "
          f"{oos_df[date_col].max().date()} ({len(oos_df)} 行)")
    return is_df, oos_df

# b) Walk-Forward 窗口生成器
def walk_forward_windows(dates, train_years=3, test_months=6):
    dates = pd.DatetimeIndex(sorted(pd.to_datetime(dates).unique()))
    start, end = dates.min(), dates.max()
    windows = []
    train_start = start
    while True:
        train_end = train_start + pd.DateOffset(years=train_years)
        test_end  = train_end + pd.DateOffset(months=test_months)
        if test_end > end:
            break
        windows.append((train_start, train_end, test_end))
        train_start = train_start + pd.DateOffset(months=test_months)  # 滚动
    return windows

# c) 滚动执行:每段独立选参、独立测试
def run_walk_forward(df, date_col, param_grid, backtest_fn,
                     train_years=3, test_months=6):
    rows = []
    for tr_s, tr_e, te_e in walk_forward_windows(df[date_col], train_years, test_months):
        tr = df[(df[date_col] >= tr_s) & (df[date_col] < tr_e)]
        te = df[(df[date_col] >= tr_e) & (df[date_col] < te_e)]
        if len(tr) == 0 or len(te) == 0:
            continue
        # 只用训练段选参数
        scores = {p: backtest_fn(tr, p)["ann"] for p in param_grid}
        best = max(scores, key=scores.get)
        oos = backtest_fn(te, best)          # 测试段只跑一次
        rows.append({"train_start": tr_s.date(), "test_start": tr_e.date(),
                     "test_end": te_e.date(), "param": best,
                     "is_ann": scores[best], "oos_ann": oos["ann"],
                     "oos_sharpe": oos["sharpe"], "oos_mdd": oos["mdd"]})
    return pd.DataFrame(rows)

# d) 汇总:中位数比均值更可信
def summarize(wf):
    print(f"窗口数={len(wf)}  OOS年化中位数={wf.oos_ann.median():.2%}  "
          f"均值={wf.oos_ann.mean():.2%}")
    print(f"OOS为正的窗口占比={ (wf.oos_ann > 0).mean():.0%}  "
          f"最差窗口={wf.oos_ann.min():.2%}")
    print(f"IS→OOS 平均衰减={(wf.is_ann - wf.oos_ann).mean():.2%}")
    return wf

# 示意(用假数据占位):
# windows = run_walk_forward(panel, "date", grid, my_backtest)
# summarize(windows)

✏️ 今日动手

1) 把你的回测数据按 2022-01-01 切一刀,把之后的数据标记为 SEALED,在代码里加一行断言禁止读取(比如文件改名加 .sealed 后缀)。这就是你的「验收数据」。

2) 实现 walk_forward_windows,用 2015-01 到 2021-12 的数据生成 3 年训练 / 6 个月测试的窗口,数一下一共能生成多少段。

3) 对其中一个策略跑完整的滚动检验,把 12 段左右的 OOS 年化打印出来,算出中位数、负收益窗口占比、IS 到 OOS 的平均衰减。这三个数字,比任何单一回测年化都更能说明你的策略值多少钱。

🔖 明日预告

明天是本周收口:把 D1 到 D6 的六个陷阱变成一张可以逐条勾选的「回测自查清单」。以后每次跑出一个新策略,先过一遍这张表,再决定要不要相信那个年化数字。