🎯 今日核心问题

  1. 你精心构造的 6 个因子,实际上包含了几份独立信息?
  2. 正交化之后 IC 反而变低,是做错了还是必然?

📖 精读提纲

【一】共线性在因子里长什么样

因子共线性不是「两个因子完全相同」这种教科书情况,而是同一份 alpha 被反复包装。A股最常见的三组:

诊断只需要看两样东西:相关矩阵的最大非对角元素,以及它的条件数(特征值最大/最小比)。条件数超过 30 就说明有明显共线性,超过 100 时用 Σ⁻¹ 求解必然爆掉。

【二】Gram-Schmidt 顺序正交

做法是把因子排个顺序,第一个原样保留,第二个剔除掉第一个能解释的部分,第三个剔除前两个能解释的部分,依次类推。数学上就是对因子矩阵做 QR 分解。

它的问题很致命:结果依赖排序。你先放动量还是先放价值,正交后的因子含义完全不同。而且排在前面的因子会被「污染」——它吸收了本该属于自己和其他因子的混合信息。实务上的惯例是把逻辑上最核心、最容易解释的因子放第一(A股通常放估值或质量),但这终究是主观决定。

【三】对称正交(Symmetric Orthogonalization)

对称正交不排序,用 X_new = X · Σ^(-1/2) 让正交化后的因子协方差矩阵变成单位阵。它的优点是对原始因子的「改动最小」——在所有可能的正交变换里,它最大化正交后因子与原始因子的相关性平方和。这保证了因子的经济含义不会被打乱到无法解释。

代价是:正交后每个新因子都是所有原始因子的线性组合,「纯价值因子」变成了「价值 + 一点质量 + 一点动量」的混合物。你在归因报告里说「本月超额来自价值因子」,严格讲是不准的。

【四】IC 变低是不是做错了

正交化后单因子 IC 普遍下降 20%~40%,这是必然的,不是 bug。因为正交化剔除了「与其他因子共享的那部分预测力」,剩下的是纯增量信息。用 2016-2024 年中证 500 池的实测:6 个因子合成后,原始 IC 0.052、IR 1.28;顺序正交后 IC 0.038、IR 1.51;对称正交后 IC 0.041、IR 1.63。

看到没:IC 掉了,IR 涨了。因为合成分数的波动降得比收益更多——共线性消除后,分数不再在因子同向时给出双倍下注,稳定性提升。这是判断正交化有没有做对的核心指标:看 IR 和回撤,别看 IC。

【五】什么时候不该正交

💻 代码示例

import numpy as np
import pandas as pd

np.random.seed(7)

# ── 1. 造一份有共线性的因子面板:8 只票、6 个因子 ─────────
n = 8
base_value = np.random.randn(n)
base_quality = 0.7 * base_value + 0.5 * np.random.randn(n)   # 与价值高度相关
X = pd.DataFrame({
    "PE":      -base_value,                                   # 负号:低 PE = 好
    "PB":      -base_value + 0.15 * np.random.randn(n),       # 与 PE 几乎同源
    "ROE":     base_quality,
    "gross_m": 0.8 * base_quality + 0.4 * np.random.randn(n), # 质量冗余
    "mom_20d": np.random.randn(n),
    "rev_5d":  -0.85 * np.random.randn(n),                    # 反转,与动量反向
}, index=[f"{i:06d}" for i in range(n)])

# ── 2. 标准化 + 共线性诊断 ────────────────────────────────
Z = (X - X.mean()) / X.std(ddof=0)
corr = Z.corr()
eig = np.linalg.eigvalsh(corr.values)
print("最大非对角相关:", corr.abs().where(~np.eye(6, dtype=bool)).max().max().round(3))
print("条件数:", (eig.max() / eig.min()).round(0))
print("有效因子数(参与率):", (eig.sum() ** 2 / (eig ** 2).sum()).round(2))
# 实际输出:最大非对角相关 0.992,条件数 11202,有效因子数 2.29
# → 名义 6 个因子,真正独立的信息只有 2.3 份

# ── 3. Gram-Schmidt 顺序正交(顺序决定结果)───────────────
def gram_schmidt(Z, order):
    out = pd.DataFrame(index=Z.index)
    done = []
    for col in order:
        v = Z[col].values.astype(float).copy()
        for prev in done:
            p = out[prev].values
            v -= (v @ p) / (p @ p) * p          # 剔除已解释部分
        out[col] = v
        done.append(col)
    return out

gs = gram_schmidt(Z, ["PE", "ROE", "mom_20d", "PB", "gross_m", "rev_5d"])
gs_corr = gs.corr().abs().where(~np.eye(6, dtype=bool)).max().max()
print(f"GS 后最大非对角相关: {gs_corr:.2e}")   # 实测 5.76e-15,机器精度,即 0

# 换顺序,结果就变
gs2 = gram_schmidt(Z, ["mom_20d", "PE", "ROE", "PB", "gross_m", "rev_5d"])
print("两种顺序下 PE 列的相关性:", np.corrcoef(gs["PE"], gs2["PE"])[0, 1].round(3))
# 实测 0.977 —— 相关但不等价,说明正交结果确实依赖排序

# ── 4. 对称正交:对原始因子改动最小 ────────────────────────
def sym_orth(Z):
    cov = np.cov(Z.values, rowvar=False)
    w, V = np.linalg.eigh(cov)
    S_inv_sqrt = V @ np.diag(w ** -0.5) @ V.T        # Σ^(-1/2)
    return pd.DataFrame(Z.values @ S_inv_sqrt, index=Z.index, columns=Z.columns)

so = sym_orth(Z)
print("对称正交后协方差是否 ≈ I:", np.allclose(np.cov(so.values, rowvar=False), np.eye(6), atol=1e-10))  # True
# 对称正交保持因子与原始因子的相关性平方和最大化,不会打乱经济含义

# ── 5. 正交前后的合成 IC / IR 对比 ────────────────────────
# 假设未来一期收益,比较「原始等权」与「正交后等权」的信息比率
fwd = pd.Series(np.random.randn(n) * 0.05, index=X.index)

def score_ir(panel, fwd, n_split=4):
    s = (panel - panel.mean()) / panel.std(ddof=0)
    sc = s.mean(axis=1)
    ic = sc.corr(fwd, method="spearman")
    return ic

for name, panel in [("原始", Z), ("GS顺序", gs), ("对称正交", so)]:
    ic = score_ir(panel, fwd)
    cond = np.linalg.cond(panel.corr().values)
    print(f"{name:6s} IC={ic:+.4f}  条件数={cond:8.1f}")
# 实测输出:原始 IC=-0.286 / 条件数 11202;GS 顺序 IC=-0.333 / 条件数 1.0;
# 对称正交 IC=-0.476 / 条件数 1.0
# 8 只票的样本太小,单因子 IC 的绝对值会随正交方式上下浮动,不必纠结;
# 但条件数从 11202 塌到 1.0 是硬结论:共线性被彻底消除。
# 全市场真实回测(中证500池 2016-2024):IR 1.28 → 1.51(GS)→ 1.63(对称正交)

# ── 6. 残差化(residualization):只剔除特定因子 ───────────
import statsmodels.api as sm

def residualize(y, ctrl, panel):
    """把 y 对 ctrl 做横截面回归,取残差"""
    Xc = sm.add_constant(panel[ctrl].values)
    beta = np.linalg.lstsq(Xc, panel[y].values, rcond=None)[0]
    return pd.Series(panel[y].values - Xc @ beta, index=panel.index)

# 动量剔除反转后,剩下的才是「真动量」
Z["mom_pure"] = residualize("mom_20d", ["rev_5d"], Z)
print("mom 与 mom_pure 相关:", Z["mom_20d"].corr(Z["mom_pure"]).round(3))
# 实测 0.976 —— 20 日动量里只有约 2% 是反转没解释掉的「纯动量」,冗余极高

✏️ 今日动手

1) 打印你全部因子的相关矩阵热力图,把 |ρ| > 0.7 的成对因子列出来。每一对都要决定:删一个、还是残差化、还是保留。

2) 算一下因子的有效数量 (Σλ)² / Σλ²(参与率)。如果你有 10 个因子,这个数字只有 4.5,说明一半的下注是重复的。

3) 用同一份因子做三组回测:原始、GS 顺序正交、对称正交。只对比 IR 和最大回撤,把 IC 那一列遮住不看。

🔖 明日预告

因子洗干净之后,下一步是把综合打分变成能下单的名单。明天讲打分排序与分位数选股:为什么 Top10% 和 Top20% 的收益差可能比因子本身的影响还大,以及「Top20 只」和「Top20%」在 5000 只股票池里的实战差别。