🎯 今日核心问题
- 本周 10 个因子,哪几个真正通过了 IC / ICIR 检验,可以进第3周的回测?
- 怎么把散落在今天的代码收成一个可复用的
factors.py,下周直接 import?
📖 精读提纲
【一】本周回顾:从「感觉」到「可计算的数字」
五天做完的事本质是同一次翻译:把「好公司便宜、走势强、筹码稳」这些模糊判断,拆成 10 个能用 pandas 算出来、能用 IC 验证的实数。覆盖四维——价值(BP、EP、SP)、质量(ROE、毛利率、现金流质量、应计)、反转/动量(21 日反转、12-1 动量)、波动流动性(换手、振幅、Amihud)。每个因子都过了同一道体检:怎么算、什么时候有效、为什么会失效。
两条核心结论:A股短期反转比动量强(rev_21 的 IC 绝对值普遍高于 12 月动量);换手率收益有一半来自中小市值,不做市值中性化,你测的是小市值溢价而非流动性溢价,而后者在注册制后退市常态化下已结构性断裂。这两条会直接改变第4周的因子合成方式。
【二】10 个因子完整代码清单
下面是可以直接保存为 factors.py 的完整代码。输入统一为日频面板(日期 × 股票),输出统一为月度截面 DataFrame,方便下一步直接接 IC 检验。
💻 代码示例
"""factors.py — 第2周产出:10 个可计算因子 + IC 检验模板
输入:日频面板 DataFrame(index=交易日, columns=股票代码)
"""
import numpy as np
import pandas as pd
from scipy.stats import spearmanr
def _wins(s, lo=0.01, hi=0.99):
return s.clip(s.quantile(lo), s.quantile(hi))
def _ind_rank(s, groups, min_n=8):
"""行业内分位排名;行业股票数不足 min_n 的退回全市场排名。
注意:一律返回带原索引的 Series,numpy 数组按位置对齐会写错行。
"""
r = s.groupby(groups).rank(pct=True)
n = s.groupby(groups).transform("size")
out = pd.Series(np.where(n >= min_n, r, s.rank(pct=True)), index=s.index)
return out
def build_factors(close, high, low, amount, turnover, mktcap,
sw_name, bps, net_profit_ttm, revenue_ttm,
roe, gross_margin, cfo_to_ni, accruals):
"""bps/net_profit_ttm/revenue_ttm/roe/... 均为月度面板(已按公告日对齐当月月末)
返回 dict: 因子名 -> 月度截面 DataFrame,方向统一为「越大越好」
"""
ret = close.pct_change(fill_method=None)
out = {}
# ── 价值:三口径,统一取倒数变成「越大越便宜」──────────────
out["bp"] = bps.resample("ME").last() # 归母净资产/总市值
out["ep"] = (net_profit_ttm / mktcap).resample("ME").last()
out["sp"] = (revenue_ttm / mktcap).resample("ME").last()
# ── 质量 ───────────────────────────────────────────────────
out["roe_ttm"] = roe.resample("ME").last()
out["gross_margin"] = gross_margin.resample("ME").last()
out["cfo_to_ni"] = cfo_to_ni.clip(-3, 5).resample("ME").last()
out["accruals_neg"] = -accruals.resample("ME").last() # 应计越低越好 → 取负
# ── 反转 / 动量 ────────────────────────────────────────────
def cum(n, skip=0):
x = (1 + ret.shift(skip)).rolling(n).apply(np.prod, raw=True) - 1
ok = ret.shift(skip).notna().rolling(n).sum() >= n * 0.8
return x.where(ok).resample("ME").last()
out["rev_21"] = -cum(21)
out["mom_252_sk"] = cum(252, skip=21)
out["mom_252_r"] = -out["mom_252_sk"] # 反转版,用于对比
# ── 波动 / 流动性 ──────────────────────────────────────────
out["vol_63"] = (ret.rolling(63).std() * np.sqrt(252)).resample("ME").last()
out["amp_63"] = ((high - low) / close.shift(1)).rolling(63).mean().resample("ME").last()
out["turn_63"] = (turnover / 100).rolling(63).mean().resample("ME").last()
illiq_raw = ret.abs() / amount.replace(0, np.nan)
# 逐列(逐股票)截断 99.9% 分位,避免某只微盘股单日爆值污染整个均值
cap = illiq_raw.quantile(0.999)
illiq = illiq_raw.clip(upper=cap, axis=1)
out["log_illiq"] = np.log1p(illiq.rolling(63).mean() * 1e9).resample("ME").last()
# ── 中性化:价值/质量用行业内排名,流动性类做市值中性化 ──
ind = sw_name # Series(index=股票代码) → 行业名,静态映射
size = np.log(mktcap.resample("ME").last())
def neutralize(df, use_ind=True):
"""df: 月度截面 DataFrame(日期 x 股票);返回同形状中性化结果
注意:必须逐行构造 Series 再写入,不能先 res.loc[dt,:]=nan 再赋值
—— 那样会就地清掉 src 的共享行
"""
src = df.ffill() if use_ind else df
rows = {}
for dt in src.index:
s = _wins(src.loc[dt].dropna())
if s.empty:
continue
if use_ind:
rows[dt] = pd.Series(_ind_rank(s, ind.reindex(s.index)),
index=s.index, dtype=float)
else:
d = pd.concat([s, size.loc[dt]], axis=1, keys=["f", "s"]).dropna()
if len(d) < 50:
continue
X = np.c_[np.ones(len(d)), d["s"].values]
b, *_ = np.linalg.lstsq(X, d["f"].values, rcond=None)
rows[dt] = pd.Series(d["f"].values - X @ b, index=d.index, dtype=float)
# pd.DataFrame(dict_of_Series) 会把 dict 的 key 当列、Series 索引当行,
# 所以必须 .T 转置成「日期 x 股票」;T 之后列名是日期,索引才是股票
mat = pd.DataFrame(rows).T
return mat.reindex(index=src.index, columns=src.columns)
for k in ["bp", "ep"]:
out[k] = neutralize(out[k])
# 质量合成:每个分项先各自做行业内排名,再等权平均(不要先求均值再排名,
# 那样量纲不同的 ROE 与毛利率会互相淹没)
q_parts = ["roe_ttm", "gross_margin", "accruals_neg", "cfo_to_ni"]
q_ranks = [neutralize(out[k].ffill()) for k in q_parts]
out["quality"] = sum(q_ranks) / len(q_ranks)
out["turn_63"] = neutralize(out["turn_63"], use_ind=False)
return out
# ── IC 检验模板:本周固定口径,后续所有因子复用 ──────────────────
def ic_test(factor, fwd_ret, min_stocks=100):
"""factor: 月末截面 DataFrame/Series;fwd_ret: 日频未来 N 日收益(t+1 起)
按 asof 把收益对齐到每个因子日期,避免月末最后一个交易日缺失导致对不上
"""
if isinstance(factor, pd.DataFrame):
if factor.shape[1] == 1:
factor = factor.iloc[:, 0] # 单列宽表(如 quality)压平为 Series
elif factor.shape[1] < 2:
raise ValueError("因子宽表至少要有 2 列股票")
fr = fwd_ret.sort_index()
rec = []
for dt in factor.index:
pos = fr.index.searchsorted(dt, side="right") - 1
if pos < 0:
continue
f_row, r_row = factor.loc[dt], fr.iloc[pos]
if np.isscalar(f_row) or np.isscalar(r_row):
continue
d = pd.concat([f_row, r_row], axis=1, keys=["f", "r"]).dropna()
if len(d) < min_stocks:
continue
ic, _ = spearmanr(d["f"], d["r"])
rec.append({"date": dt, "ic": ic, "n": len(d)})
if not rec:
return {"IC": np.nan, "ICIR": np.nan, "胜率": np.nan, "t值": np.nan, "N": 0}
df = pd.DataFrame(rec).set_index("date")["ic"]
return {
"IC": round(float(df.mean()), 4),
"ICIR": round(float(df.mean() / df.std()), 3),
"胜率": round(float((df > 0).mean()), 3),
"t值": round(float(df.mean() / (df.std() / np.sqrt(len(df)))), 2),
"N": len(df),
}
✏️ 今日动手
把代码存成 factors.py,在 test_ic.py 里 import 后对 10 个因子批量跑 ic_test,输出按 ICIR 降序排的 CSV。然后做三件事:给每个因子写一句结论(有效/弱/无效 + 原因);确认哪 5-6 个进第3周回测;标出分年度 IC 反向的年份。
产出物是 factor_report_w2.csv 加一段 300 字内的结论笔记,说人话:哪个因子赚的是什么钱,哪个靠不住。
🔖 明日预告
第3周开工:回测方法论与陷阱。第一天就拆最致命的前视偏差——财报的「报告期」和「公告日」差两个月,用错字段,回测就能凭空多出 30% 年化。之后依次是幸存者偏差、参数寻优自毁、交易成本建模、涨跌停约束、Walk-Forward 滚动检验。目标不是赚更多,而是知道自己在哪儿骗了自己。