🎯 今日核心问题

  1. 本周 10 个因子,哪几个真正通过了 IC / ICIR 检验,可以进第3周的回测?
  2. 怎么把散落在今天的代码收成一个可复用的 factors.py,下周直接 import?

📖 精读提纲

【一】本周回顾:从「感觉」到「可计算的数字」

五天做完的事本质是同一次翻译:把「好公司便宜、走势强、筹码稳」这些模糊判断,拆成 10 个能用 pandas 算出来、能用 IC 验证的实数。覆盖四维——价值(BP、EP、SP)、质量(ROE、毛利率、现金流质量、应计)、反转/动量(21 日反转、12-1 动量)、波动流动性(换手、振幅、Amihud)。每个因子都过了同一道体检:怎么算、什么时候有效、为什么会失效。

两条核心结论:A股短期反转比动量强(rev_21 的 IC 绝对值普遍高于 12 月动量);换手率收益有一半来自中小市值,不做市值中性化,你测的是小市值溢价而非流动性溢价,而后者在注册制后退市常态化下已结构性断裂。这两条会直接改变第4周的因子合成方式。

【二】10 个因子完整代码清单

下面是可以直接保存为 factors.py 的完整代码。输入统一为日频面板(日期 × 股票),输出统一为月度截面 DataFrame,方便下一步直接接 IC 检验。

💻 代码示例

"""factors.py — 第2周产出:10 个可计算因子 + IC 检验模板
输入:日频面板 DataFrame(index=交易日, columns=股票代码)
"""
import numpy as np
import pandas as pd
from scipy.stats import spearmanr


def _wins(s, lo=0.01, hi=0.99):
    return s.clip(s.quantile(lo), s.quantile(hi))


def _ind_rank(s, groups, min_n=8):
    """行业内分位排名;行业股票数不足 min_n 的退回全市场排名。
       注意:一律返回带原索引的 Series,numpy 数组按位置对齐会写错行。
    """
    r = s.groupby(groups).rank(pct=True)
    n = s.groupby(groups).transform("size")
    out = pd.Series(np.where(n >= min_n, r, s.rank(pct=True)), index=s.index)
    return out


def build_factors(close, high, low, amount, turnover, mktcap,
                  sw_name, bps, net_profit_ttm, revenue_ttm,
                  roe, gross_margin, cfo_to_ni, accruals):
    """bps/net_profit_ttm/revenue_ttm/roe/... 均为月度面板(已按公告日对齐当月月末)
       返回 dict: 因子名 -> 月度截面 DataFrame,方向统一为「越大越好」
    """
    ret = close.pct_change(fill_method=None)
    out = {}

    # ── 价值:三口径,统一取倒数变成「越大越便宜」──────────────
    out["bp"] = bps.resample("ME").last()                       # 归母净资产/总市值
    out["ep"] = (net_profit_ttm / mktcap).resample("ME").last()
    out["sp"] = (revenue_ttm / mktcap).resample("ME").last()

    # ── 质量 ───────────────────────────────────────────────────
    out["roe_ttm"]       = roe.resample("ME").last()
    out["gross_margin"]  = gross_margin.resample("ME").last()
    out["cfo_to_ni"]     = cfo_to_ni.clip(-3, 5).resample("ME").last()
    out["accruals_neg"]  = -accruals.resample("ME").last()   # 应计越低越好 → 取负

    # ── 反转 / 动量 ────────────────────────────────────────────
    def cum(n, skip=0):
        x = (1 + ret.shift(skip)).rolling(n).apply(np.prod, raw=True) - 1
        ok = ret.shift(skip).notna().rolling(n).sum() >= n * 0.8
        return x.where(ok).resample("ME").last()

    out["rev_21"]     = -cum(21)
    out["mom_252_sk"] = cum(252, skip=21)
    out["mom_252_r"]  = -out["mom_252_sk"]                   # 反转版,用于对比

    # ── 波动 / 流动性 ──────────────────────────────────────────
    out["vol_63"]  = (ret.rolling(63).std() * np.sqrt(252)).resample("ME").last()
    out["amp_63"]  = ((high - low) / close.shift(1)).rolling(63).mean().resample("ME").last()
    out["turn_63"] = (turnover / 100).rolling(63).mean().resample("ME").last()
    illiq_raw = ret.abs() / amount.replace(0, np.nan)
    # 逐列(逐股票)截断 99.9% 分位,避免某只微盘股单日爆值污染整个均值
    cap = illiq_raw.quantile(0.999)
    illiq = illiq_raw.clip(upper=cap, axis=1)
    out["log_illiq"] = np.log1p(illiq.rolling(63).mean() * 1e9).resample("ME").last()

    # ── 中性化:价值/质量用行业内排名,流动性类做市值中性化 ──
    ind = sw_name                    # Series(index=股票代码) → 行业名,静态映射
    size = np.log(mktcap.resample("ME").last())

    def neutralize(df, use_ind=True):
        """df: 月度截面 DataFrame(日期 x 股票);返回同形状中性化结果
           注意:必须逐行构造 Series 再写入,不能先 res.loc[dt,:]=nan 再赋值
           —— 那样会就地清掉 src 的共享行
        """
        src = df.ffill() if use_ind else df
        rows = {}
        for dt in src.index:
            s = _wins(src.loc[dt].dropna())
            if s.empty:
                continue
            if use_ind:
                rows[dt] = pd.Series(_ind_rank(s, ind.reindex(s.index)),
                                     index=s.index, dtype=float)
            else:
                d = pd.concat([s, size.loc[dt]], axis=1, keys=["f", "s"]).dropna()
                if len(d) < 50:
                    continue
                X = np.c_[np.ones(len(d)), d["s"].values]
                b, *_ = np.linalg.lstsq(X, d["f"].values, rcond=None)
                rows[dt] = pd.Series(d["f"].values - X @ b, index=d.index, dtype=float)
        # pd.DataFrame(dict_of_Series) 会把 dict 的 key 当列、Series 索引当行,
        # 所以必须 .T 转置成「日期 x 股票」;T 之后列名是日期,索引才是股票
        mat = pd.DataFrame(rows).T
        return mat.reindex(index=src.index, columns=src.columns)

    for k in ["bp", "ep"]:
        out[k] = neutralize(out[k])
    # 质量合成:每个分项先各自做行业内排名,再等权平均(不要先求均值再排名,
    # 那样量纲不同的 ROE 与毛利率会互相淹没)
    q_parts = ["roe_ttm", "gross_margin", "accruals_neg", "cfo_to_ni"]
    q_ranks = [neutralize(out[k].ffill()) for k in q_parts]
    out["quality"] = sum(q_ranks) / len(q_ranks)
    out["turn_63"] = neutralize(out["turn_63"], use_ind=False)
    return out


# ── IC 检验模板:本周固定口径,后续所有因子复用 ──────────────────
def ic_test(factor, fwd_ret, min_stocks=100):
    """factor: 月末截面 DataFrame/Series;fwd_ret: 日频未来 N 日收益(t+1 起)
       按 asof 把收益对齐到每个因子日期,避免月末最后一个交易日缺失导致对不上
    """
    if isinstance(factor, pd.DataFrame):
        if factor.shape[1] == 1:
            factor = factor.iloc[:, 0]     # 单列宽表(如 quality)压平为 Series
        elif factor.shape[1] < 2:
            raise ValueError("因子宽表至少要有 2 列股票")
    fr = fwd_ret.sort_index()
    rec = []
    for dt in factor.index:
        pos = fr.index.searchsorted(dt, side="right") - 1
        if pos < 0:
            continue
        f_row, r_row = factor.loc[dt], fr.iloc[pos]
        if np.isscalar(f_row) or np.isscalar(r_row):
            continue
        d = pd.concat([f_row, r_row], axis=1, keys=["f", "r"]).dropna()
        if len(d) < min_stocks:
            continue
        ic, _ = spearmanr(d["f"], d["r"])
        rec.append({"date": dt, "ic": ic, "n": len(d)})
    if not rec:
        return {"IC": np.nan, "ICIR": np.nan, "胜率": np.nan, "t值": np.nan, "N": 0}
    df = pd.DataFrame(rec).set_index("date")["ic"]
    return {
        "IC": round(float(df.mean()), 4),
        "ICIR": round(float(df.mean() / df.std()), 3),
        "胜率": round(float((df > 0).mean()), 3),
        "t值": round(float(df.mean() / (df.std() / np.sqrt(len(df)))), 2),
        "N": len(df),
    }

✏️ 今日动手

把代码存成 factors.py,在 test_ic.py 里 import 后对 10 个因子批量跑 ic_test,输出按 ICIR 降序排的 CSV。然后做三件事:给每个因子写一句结论(有效/弱/无效 + 原因);确认哪 5-6 个进第3周回测;标出分年度 IC 反向的年份。

产出物是 factor_report_w2.csv 加一段 300 字内的结论笔记,说人话:哪个因子赚的是什么钱,哪个靠不住。

🔖 明日预告

第3周开工:回测方法论与陷阱。第一天就拆最致命的前视偏差——财报的「报告期」和「公告日」差两个月,用错字段,回测就能凭空多出 30% 年化。之后依次是幸存者偏差、参数寻优自毁、交易成本建模、涨跌停约束、Walk-Forward 滚动检验。目标不是赚更多,而是知道自己在哪儿骗了自己。