🎯 今日核心问题

  1. 前复权、后复权、不复权,做因子、做收益率、算持仓股数时,分别该用哪一个?用错会算出什么荒谬结果?
  2. 5000只股票 × 10年日线,怎么在不让接口封你、不把内存拉爆的前提下,稳定落成本地文件?

📖 精读提纲

【一】三种复权的数学本质

除权除息(分红、送转)会在某天让股价"跳空下跌",但你的资产没有真的减少。复权就是把这根人为的断点接上。

不复权(none):原始成交价。它是唯一"真实发生过的价格"——你能用它算真实的成交金额、真实的股数、真实的涨跌停价位。缺点是不能直接算长期收益率,因为除权日会凭空出现跌幅。

前复权(qfq):以最新价为锚,把历史价格按复权因子等比缩放。好处是"最新价格=真实价格",图形连续、收益率直接可算。致命缺陷:每次分红送转后,全部历史价格都会变。你昨天存的前复权数据,今天除权后就过时了——这是所有回测者踩过的坑:历史数据被静默改写,昨天回测的结论今天复现不出来。

后复权(hfq):以上市首日为锚,把后续价格放大。历史值永不变动,是唯一适合做可复现回测的口径。缺点是数值长得不像真实股价(双环传动后复权价可能是几百元),不能直接展示给用户看。

工程上的标准做法:存储用后复权或不复权 + 复权因子,计算收益率用后复权,展示用前复权,算涨跌停/成交金额用不复权。别只存一种。

【二】用真实数字感受差异

双环传动002472在2021年6月做过每10股转增4股的分配,除权日股价会机械性下跌约28.6%。如果你用不复权数据算"过去3个月动量",除权日当天会被算成 -28% 的暴跌,动量因子排名瞬间掉到全市场底部——但公司基本面什么都没变。反过来,如果你用前复权数据算,图形是平滑的,动量因子正确。

中国国航601111则相反:长期低分红,qfq 与 hfq 差异极小。这说明复权影响因股而异——抽查一只没问题不代表全市场没问题,银行/电力/白酒这类高分红股差异巨大,必须全量按统一口径处理。

【三】批量拉全A股:工程细节决定成败

第一步,拿股票池:ak.stock_info_a_code_name(),过滤 B股(900/200开头)与北交所(8/4开头)。第二步,控频:请求间隔 0.3-0.5 秒,5000只约40分钟,配 try/except 重试,单只失败不中断全局。

第三步,增量落盘。每只股票存成一个 parquet 文件(data/daily/002472.parquet),而不是一个大 CSV。原因:单文件读写快、失败可断点续传、并发安全、内存占用低。全部 5000 只 × 10年日线,parquet 压缩后约 500MB-1GB,完全可以放本地。

第四步,记录元数据。每只股票存一行:代码、名称、实际起始日、最后交易日、行数、拉取时间。这份 meta.parquet 是你后面判断"这只票什么时候上市、有没有断档、要不要更新"的唯一依据。

【四】常见误区

💻 代码示例

import os, time, random
import akshare as ak
import pandas as pd

OUT = os.path.expanduser("~/quant/data/daily")
os.makedirs(OUT, exist_ok=True)

RENAME = {"日期": "date", "开盘": "open", "收盘": "close", "最高": "high",
          "最低": "low", "成交量": "volume", "成交额": "amount",
          "涨跌幅": "pct_chg", "换手率": "turnover"}

def get_universe() -> pd.DataFrame:
    """全A股代码表,剔除B股与北交所"""
    info = ak.stock_info_a_code_name()
    info.columns = ["code", "name"]
    info["code"] = info["code"].astype(str).str.zfill(6)
    mask = ~info["code"].str.startswith(("200", "900", "8", "4"))
    return info[mask].reset_index(drop=True)

def fetch_one(code: str, adjust: str = "hfq",
              start: str = "20150101", retry: int = 3):
    """单只股票,带重试。返回标准列 DataFrame 或 None"""
    for i in range(retry):
        try:
            df = ak.stock_zh_a_hist(symbol=code, period="daily",
                                    start_date=start, end_date="20991231",
                                    adjust=adjust)
            if df is None or df.empty:
                return None
            df = df.rename(columns=RENAME)
            df["date"] = pd.to_datetime(df["date"])
            df["code"] = code
            keep = ["code", "date", "open", "high", "low", "close",
                    "volume", "amount", "pct_chg", "turnover"]
            return df[[c for c in keep if c in df.columns]] \
                     .sort_values("date").reset_index(drop=True)
        except Exception as e:
            if i == retry - 1:
                print(f"  [FAIL] {code}: {e}")
                return None
            time.sleep(1.5 * (i + 1))

def batch_download(universe, adjust="hfq", sleep=(0.3, 0.6)):
    meta = []
    for n, code in enumerate(universe["code"], 1):
        fp = f"{OUT}/{code}.parquet"
        df = fetch_one(code, adjust=adjust)
        if df is not None and len(df) > 0:
            df.to_parquet(fp, index=False)
            meta.append({"code": code, "rows": len(df),
                         "start": df["date"].min(), "end": df["date"].max()})
        if n % 100 == 0:
            print(f"{n}/{len(universe)} 完成,最近: {code}")
        time.sleep(random.uniform(*sleep))
    pd.DataFrame(meta).to_parquet(f"{OUT}/../meta.parquet", index=False)
    return pd.DataFrame(meta)

uni = get_universe()
print("股票池数量:", len(uni))
# 先小样本验证,确认字段无误再全量
meta = batch_download(uni.head(20))
print(meta.head())

# ---------- 复权口径对比:算同一段收益率 ----------
def ret_from(code, adj, start="20200101", end="20241231"):
    d = fetch_one(code, adjust=adj, start=start)
    d = d[d["date"] <= pd.Timestamp(end)]
    return d["close"].iloc[-1] / d["close"].iloc[0] - 1

for adj in ["", "qfq", "hfq"]:
    print(f"002472 {adj or 'none':5s} 区间收益: {ret_from('002472', adj):.2%}")

# 结论:qfq与hfq收益率应完全一致,none会因除权偏低

✏️ 今日动手

  1. 跑通 get_universe(),打印股票池数量,确认在 5000 左右且不含 8/4 开头。
  2. 先只拉前 20 只,检查 parquet 文件正常、字段齐全、日期升序。这一步不通过不要全量跑。
  3. 用 002472 和 601111 分别算 2020-2024 的区间收益率,三种复权口径各算一次。写出你的观察:qfq 和 hfq 是否一致?none 差多少?为什么?
  4. 确认无误后启动全量下载(建议放到后台跑,40分钟量级)。同时把 adjust 改成 "qfq" 再拉一份存到 data/daily_qfq/——后面画图要用。
  5. 统计 meta.parquet:行数最少的10只股票(大概率是新股或退市股),记下它们,D3 要专门处理。

🔖 明日预告

数据到手了,但它是脏的。明天处理回测里最致命的五类脏数据:停牌、涨跌停买不进卖不出、退市股、ST 改名、新股上市首日——任何一个不处理,你的回测收益都可能是假的。