🎯 今日核心问题
- 怎么证明你的回测框架没算错?用哪个标的、哪个区间、和什么数字对齐,误差多大算通过?
- 框架算出来的收益和官方指数对不上时,问题一定出在数据源吗?最常见的是哪几个偏差来源?
📖 精读提纲
【一】为什么要用"已知答案"做单元测试
回测框架是典型的"错了也不报错"的软件。它不会崩溃、不会抛异常,只会安安静静给你一个漂亮的年化收益——而那个数字可能是错的。所以框架上线前必须做已知答案测试(known-answer test):拿一个结果可独立验证的简单策略,看你的框架能不能复现。
最好的测试标的是沪深300指数买入持有。原因有三:一是它的历史收益率是公开的,中证指数官网、各家基金的年报、ETF 的净值曲线都能查到;二是它没有分红再投资的复杂处理(价格指数 vs 全收益指数要分清,见下文);三是指数本身不会有停牌、退市、成分调整带来的干扰,能把框架的"纯计算"部分单独隔离出来。
判断标准:你的框架算出的区间累计收益,与官方价格的区间涨跌幅误差应小于0.5%。超过1%,一定有bug;超过5%,多半是复权或者价格类型用错了。
【二】价格指数 vs 全收益指数:最容易错的一步
沪深300有两个版本:价格指数(000300)只反映股价变化,成分股分红时指数会"掉"下去;全收益指数(H00300)假设分红全部再投资,长期年化比价格指数高约2个百分点。A股沪深300股息率约2-3%,10年下来两者能差20%以上。
所以对齐的时候必须口径一致:
- 用
ak.index_zh_a_hist("000300")拿的是价格指数,就只和官网的价格指数涨跌幅比。 - 如果你用 ETF(如510300)做对照,ETF 净值含分红再投资且扣管理费,会更接近全收益指数但略低。
- 千万不要拿"价格指数算出的收益"去和"某只沪深300基金的10年收益"比,然后说"我框架错了"——这不是框架的错,是标的口径不同。
【三】对不上时的排查顺序:五个常见偏差源
如果误差超标,按这个顺序查,90%的问题在前三步:
① 收益计算方式:是不是用了 sum() 而不是 cumprod()?是不是 shift 方向搞反了(shift(1) vs shift(-1))?
② 首尾日期:取的是不是完全相同的第一天和最后一天?start_date="20200101" 返回的第一行可能是1月2日,你的对照数字如果是按1月1日算的,第一天涨幅就丢了。
③ 复权:指数不需要复权,但如果你测的是股票,用了前复权且数据是旧的(分红后没有重新拉),收益会错。
④ 交易日数:年化用的年数是不是 len(returns)/252?如果用自然日跨度(如 2020-01-01 到 2024-12-31 = 5.0 年)而收益是按交易日连乘的,年化会偏小。
⑤ 数据源错误:前面四条都排除了,才怀疑数据源。这时候用 tushare 或中证官网数据交叉核对。
【四】常见误区
- ❌ "年化收益对上了就算框架对"——年化对不代表净值曲线对。必须逐日对齐净值,看偏差是哪一天开始出现的。
- ❌ "误差1%以内就算通过"——纯指数买入持有没有任何交易和复权干扰,误差应该接近机器精度(<0.01%)。1%的误差说明有系统性问题。
- ❌ "只用一段牛市数据验证"——2019-2020单边上涨,很多bug(比如漏算下跌段)会被掩盖。必须包含一段大跌(2018、2022)和一段震荡(2023)。
- ❌ "指数涨跌幅和ETF净值应该一样"——ETF有管理费、跟踪误差、分红处理差异,长期必然不同。对照要选对基准。
- ❌ "框架验证一次就够了"——每次改完
backtest.py都要重跑这套测试。把它写成test_backtest.py,永久保留。
💻 代码示例
import akshare as ak
import pandas as pd
import numpy as np
def load_index(symbol="000300", start="20180101", end="20241231") -> pd.Series:
d = ak.index_zh_a_hist(symbol=symbol, period="daily",
start_date=start, end_date=end)
d["日期"] = pd.to_datetime(d["日期"])
return d.set_index("日期")["收盘"].astype(float).sort_index()
def check_buy_and_hold(px: pd.Series, label: str) -> dict:
"""验证:满仓买入持有的净值 == 价格序列本身"""
r = px.pct_change().dropna()
nav = (1 + r).cumprod()
# 独立算法:直接价格比值
nav_ref = px / px.iloc[0]
diff = (nav - nav_ref).abs()
n = len(r)
cagr = nav.iloc[-1] ** (252 / n) - 1
cagr_ref = (px.iloc[-1] / px.iloc[0]) ** (252 / n) - 1
return {
"标的": label,
"起始": str(px.index[0].date()),
"结束": str(px.index[-1].date()),
"交易日": n,
"累计收益_框架": round(nav.iloc[-1] - 1, 6),
"累计收益_直接": round(nav_ref.iloc[-1] - 1, 6),
"最大逐日偏差": round(float(diff.max()), 10),
"年化_框架": round(cagr, 6),
"年化_直接": round(cagr_ref, 6),
"结论": "PASS" if diff.max() < 1e-9 else "FAIL",
}
# ---------- 测试 1:沪深300 分段验证 ----------
for s, e, tag in [("20180101", "20181231", "2018熊市"),
("20190101", "20201231", "2019-20牛市"),
("20210101", "20221231", "2021-22下跌"),
("20180101", "20241231", "全区间")]:
px = load_index("000300", s, e)
print(check_buy_and_hold(px, f"沪深300 {tag}"))
# ---------- 测试 2:与官方/公开数字核对 ----------
px = load_index("000300", "20190101", "20241231")
total = px.iloc[-1] / px.iloc[0] - 1
print(f"2019-2024 沪深300价格指数累计涨幅: {total:.2%}")
print("去中证指数官网查同一区间涨跌幅,误差应 < 0.1%")
# ---------- 测试 3:多标的回归测试 ----------
def regression_suite():
cases = [
("000300", "index", "沪深300"),
("000905", "index", "中证500"),
("002472", "stock", "双环传动"),
("601111", "stock", "中国国航"),
]
rows = []
for code, kind, name in cases:
if kind == "index":
px = load_index(code, "20200101", "20241231")
else:
d = ak.stock_zh_a_hist(symbol=code, period="daily",
start_date="20200101", end_date="20241231",
adjust="hfq")
d["日期"] = pd.to_datetime(d["日期"])
px = d.set_index("日期")["收盘"].astype(float)
rows.append(check_buy_and_hold(px, name))
return pd.DataFrame(rows)
print(regression_suite().to_string(index=False))
# ---------- 测试 4:故意注入 bug,确认测试能抓到 ----------
def broken_nav(px):
r = px.pct_change().fillna(0)
return (1 + r.sum()).cumsum() # 错误:简单加总
px = load_index("000300", "20180101", "20241231")
bad = broken_nav(px)
good = px / px.iloc[0]
print("注入bug后的最大偏差:", round(float((bad - good).abs().max()), 4),
"-> 测试能抓到" if (bad - good).abs().max() > 1e-6 else "-> 测试失效,需加强")
✏️ 今日动手
- 把上面的验证代码写成
tests/test_backtest.py,用pytest或直接python跑,四个区间的结论必须全是 PASS。 - 去中证指数官网(csindex.com.cn)查沪深300 2019-2024 的区间涨跌幅,和你算出的数字对比,把两个数写进
tests/VALIDATION.md,记录误差。 - 确认你能解释每一段的结果:2018年沪深300跌了多少?2021-2022跌了多少?算出最大回撤,看是不是和印象中的"沪深300最大回撤约-45%(2021-2024)"接近。
- 跑"故意注入bug"那段,验证你的测试确实能抓到错误。然后再故意把
shift(1)改成shift(-1),看策略回测收益怎么变——这两个实验能让你彻底记住前视偏差长什么样。 - 给框架打个版本标签(
git commit -m "backtest v1 validated")。这个 commit 是你后面所有研究的地基,以后每次改动都要能回到这个已验证的版本。
🔖 明日预告
本周收官。明天把七天的成果串成一条完整链路:跑一条命令,从数据更新到任意标的的净值曲线出图,并沉淀成一个可复用的项目骨架。下周开始真正造因子。