🎯 今日核心问题
- 样本外只测一次就够了吗?测第二次会污染什么?
- Walk-Forward 和简单 7:3 切分,哪个更接近真实交易?
📖 精读提纲
【一】样本内/样本外的本质是「信息隔离」
样本内(in-sample, IS)是你用来找规律的数据,样本外(out-of-sample, OOS)是你用来验证规律的数据。规则只有一条:OOS 的数据,在你定稿之前一个字都不能看。
为什么这么严格?因为「看一眼再改一版」这个动作本身就是一次参数搜索。经典例子:你做了 20 次「微调参数 → 看一眼样本外」的循环,每次样本外表现都略有提升,你以为自己找到了好策略。实际上你已经把样本外当成了训练集,20 次尝试后,样本外的「最好结果」里有大约 1 - (1-0.05)^20 ≈ 64% 的概率是噪声造成的假阳性(假设单次随机跑赢基准的概率是 5%)。这就是所谓的「样本外污染」——一旦被污染,那块数据就永久失效了。
所以规范做法是:一次性留出最后 20% 到 30% 的时间段(比如 2022-01 之后)封存,只在最后验收时打开一次。平时所有开发、调参、对比,全部在样本内完成,样本内用滚动窗口自己跟自己玩。
【二】A股的时间切分必须顺着市场状态切
随机打乱做 K-Fold 在时序数据上是错的,因为它会用 2024 年的数据训练、2020 年的数据测试——未来信息泄露。时序数据只能按时间顺序切。
更重要的是:切分点不能切在一段牛市中间,否则样本内和样本外的市场状态分布差太远,验证结论没意义。A股比较干净的切分点有:2015 年 6 月(杠杆牛顶)、2018 年底(单边熊结束)、2021 年 2 月(核心资产见顶)、2024 年 2 月(微盘股流动性危机出清)。用这些节点做样本外边界,得到的是「策略在完全不同的市场环境里还能不能活」的答案,而不是「参数是否还适配同一段行情」。
【三】实战应用:Walk-Forward 滚动检验
Walk-Forward(滚动前推)是样本内外切分的工程化版本。做法:设定训练窗口长度(比如 3 年)和测试窗口长度(比如 6 个月),每次用前 3 年数据选参数、用紧接着的 6 个月做样本外测试,然后把窗口整体向前滚动 6 个月,重复这个过程。
它的价值在于产出一串样本外业绩,而不是一个点。2018 至 2024 年,你可以得到 10 到 12 段彼此独立(或不重叠)的样本外窗口。如果这 12 段里有 9 段夏普为正、3 段为负且负的都出现在 2018 和 2024 这种极端年份,那策略的可信度就比「单一 7:3 切分出来的一个漂亮数字」高得多。
一个具体对比:某多因子策略简单 7:3 切分,样本内年化 26%、样本外年化 19%,看起来很棒。改用 3 年训练 / 1 年测试的滚动检验,12 段样本外的中位数年化只有 11%,且有 4 段为负——真实可期待的水平是 11%,不是 19%。简单切分之所以虚高,是因为它只测了一次,运气好就赢了。
【四】常见误区
- ❌ 反复看样本外结果来改模型。看过一次就是训练过,之后的「样本外」不再有效。
- ❌ 用随机 K-Fold 处理股价时序。这是最典型的前视偏差,模型能记住未来。
- ❌ 只有一段样本外。一段样本外只能给你一个观测,统计上几乎没有意义。
- ❌ 训练窗口太短。3 年训练窗口在A股只覆盖一种市场状态,参数会非常脆;至少覆盖一轮牛熊。
💻 代码示例
import numpy as np
import pandas as pd
# a) 一次性样本内外切分(按日期,不打乱)
def split_by_time(df, date_col, oos_start, oos_ratio=None):
df = df.sort_values(date_col)
if oos_start is not None:
cut = pd.Timestamp(oos_start)
else:
cut = df[date_col].quantile(1 - oos_ratio)
is_df = df[df[date_col] < cut]
oos_df = df[df[date_col] >= cut]
print(f"IS: {is_df[date_col].min().date()} ~ {is_df[date_col].max().date()} "
f"({len(is_df)} 行) | OOS: {oos_df[date_col].min().date()} ~ "
f"{oos_df[date_col].max().date()} ({len(oos_df)} 行)")
return is_df, oos_df
# b) Walk-Forward 窗口生成器
def walk_forward_windows(dates, train_years=3, test_months=6):
dates = pd.DatetimeIndex(sorted(pd.to_datetime(dates).unique()))
start, end = dates.min(), dates.max()
windows = []
train_start = start
while True:
train_end = train_start + pd.DateOffset(years=train_years)
test_end = train_end + pd.DateOffset(months=test_months)
if test_end > end:
break
windows.append((train_start, train_end, test_end))
train_start = train_start + pd.DateOffset(months=test_months) # 滚动
return windows
# c) 滚动执行:每段独立选参、独立测试
def run_walk_forward(df, date_col, param_grid, backtest_fn,
train_years=3, test_months=6):
rows = []
for tr_s, tr_e, te_e in walk_forward_windows(df[date_col], train_years, test_months):
tr = df[(df[date_col] >= tr_s) & (df[date_col] < tr_e)]
te = df[(df[date_col] >= tr_e) & (df[date_col] < te_e)]
if len(tr) == 0 or len(te) == 0:
continue
# 只用训练段选参数
scores = {p: backtest_fn(tr, p)["ann"] for p in param_grid}
best = max(scores, key=scores.get)
oos = backtest_fn(te, best) # 测试段只跑一次
rows.append({"train_start": tr_s.date(), "test_start": tr_e.date(),
"test_end": te_e.date(), "param": best,
"is_ann": scores[best], "oos_ann": oos["ann"],
"oos_sharpe": oos["sharpe"], "oos_mdd": oos["mdd"]})
return pd.DataFrame(rows)
# d) 汇总:中位数比均值更可信
def summarize(wf):
print(f"窗口数={len(wf)} OOS年化中位数={wf.oos_ann.median():.2%} "
f"均值={wf.oos_ann.mean():.2%}")
print(f"OOS为正的窗口占比={ (wf.oos_ann > 0).mean():.0%} "
f"最差窗口={wf.oos_ann.min():.2%}")
print(f"IS→OOS 平均衰减={(wf.is_ann - wf.oos_ann).mean():.2%}")
return wf
# 示意(用假数据占位):
# windows = run_walk_forward(panel, "date", grid, my_backtest)
# summarize(windows)
✏️ 今日动手
1) 把你的回测数据按 2022-01-01 切一刀,把之后的数据标记为 SEALED,在代码里加一行断言禁止读取(比如文件改名加 .sealed 后缀)。这就是你的「验收数据」。
2) 实现 walk_forward_windows,用 2015-01 到 2021-12 的数据生成 3 年训练 / 6 个月测试的窗口,数一下一共能生成多少段。
3) 对其中一个策略跑完整的滚动检验,把 12 段左右的 OOS 年化打印出来,算出中位数、负收益窗口占比、IS 到 OOS 的平均衰减。这三个数字,比任何单一回测年化都更能说明你的策略值多少钱。
🔖 明日预告
明天是本周收口:把 D1 到 D6 的六个陷阱变成一张可以逐条勾选的「回测自查清单」。以后每次跑出一个新策略,先过一遍这张表,再决定要不要相信那个年化数字。