🎯 今日核心问题
- 前复权、后复权、不复权,做因子、做收益率、算持仓股数时,分别该用哪一个?用错会算出什么荒谬结果?
- 5000只股票 × 10年日线,怎么在不让接口封你、不把内存拉爆的前提下,稳定落成本地文件?
📖 精读提纲
【一】三种复权的数学本质
除权除息(分红、送转)会在某天让股价"跳空下跌",但你的资产没有真的减少。复权就是把这根人为的断点接上。
不复权(none):原始成交价。它是唯一"真实发生过的价格"——你能用它算真实的成交金额、真实的股数、真实的涨跌停价位。缺点是不能直接算长期收益率,因为除权日会凭空出现跌幅。
前复权(qfq):以最新价为锚,把历史价格按复权因子等比缩放。好处是"最新价格=真实价格",图形连续、收益率直接可算。致命缺陷:每次分红送转后,全部历史价格都会变。你昨天存的前复权数据,今天除权后就过时了——这是所有回测者踩过的坑:历史数据被静默改写,昨天回测的结论今天复现不出来。
后复权(hfq):以上市首日为锚,把后续价格放大。历史值永不变动,是唯一适合做可复现回测的口径。缺点是数值长得不像真实股价(双环传动后复权价可能是几百元),不能直接展示给用户看。
工程上的标准做法:存储用后复权或不复权 + 复权因子,计算收益率用后复权,展示用前复权,算涨跌停/成交金额用不复权。别只存一种。
【二】用真实数字感受差异
双环传动002472在2021年6月做过每10股转增4股的分配,除权日股价会机械性下跌约28.6%。如果你用不复权数据算"过去3个月动量",除权日当天会被算成 -28% 的暴跌,动量因子排名瞬间掉到全市场底部——但公司基本面什么都没变。反过来,如果你用前复权数据算,图形是平滑的,动量因子正确。
中国国航601111则相反:长期低分红,qfq 与 hfq 差异极小。这说明复权影响因股而异——抽查一只没问题不代表全市场没问题,银行/电力/白酒这类高分红股差异巨大,必须全量按统一口径处理。
【三】批量拉全A股:工程细节决定成败
第一步,拿股票池:ak.stock_info_a_code_name(),过滤 B股(900/200开头)与北交所(8/4开头)。第二步,控频:请求间隔 0.3-0.5 秒,5000只约40分钟,配 try/except 重试,单只失败不中断全局。
第三步,增量落盘。每只股票存成一个 parquet 文件(data/daily/002472.parquet),而不是一个大 CSV。原因:单文件读写快、失败可断点续传、并发安全、内存占用低。全部 5000 只 × 10年日线,parquet 压缩后约 500MB-1GB,完全可以放本地。
第四步,记录元数据。每只股票存一行:代码、名称、实际起始日、最后交易日、行数、拉取时间。这份 meta.parquet 是你后面判断"这只票什么时候上市、有没有断档、要不要更新"的唯一依据。
【四】常见误区
- ❌ "前复权是最常用的,所以就用前复权"——前复权历史值会随每次分红变化,你的回测不可复现。做研究用后复权。
- ❌ "存一份前复权就够了"——你需要不复权价判断涨跌停和成交金额,需要后复权算收益,一份不够。
- ❌ "拉全市场就存一个CSV"——5000只×2500天=1250万行,单个CSV几百MB,每次读取都要全量解析,迭代一天就受不了。
- ❌ "拉完就不管了"——数据是有时效的。今天拉的数据,明天就少了1天。必须设计增量更新(D4会做)。
- ❌ "代码带前缀也没关系"——akshare 的
stock_zh_a_hist要的是纯6位代码002472,而 tushare 要002472.SZ。混用直接报错或返回空。
💻 代码示例
import os, time, random
import akshare as ak
import pandas as pd
OUT = os.path.expanduser("~/quant/data/daily")
os.makedirs(OUT, exist_ok=True)
RENAME = {"日期": "date", "开盘": "open", "收盘": "close", "最高": "high",
"最低": "low", "成交量": "volume", "成交额": "amount",
"涨跌幅": "pct_chg", "换手率": "turnover"}
def get_universe() -> pd.DataFrame:
"""全A股代码表,剔除B股与北交所"""
info = ak.stock_info_a_code_name()
info.columns = ["code", "name"]
info["code"] = info["code"].astype(str).str.zfill(6)
mask = ~info["code"].str.startswith(("200", "900", "8", "4"))
return info[mask].reset_index(drop=True)
def fetch_one(code: str, adjust: str = "hfq",
start: str = "20150101", retry: int = 3):
"""单只股票,带重试。返回标准列 DataFrame 或 None"""
for i in range(retry):
try:
df = ak.stock_zh_a_hist(symbol=code, period="daily",
start_date=start, end_date="20991231",
adjust=adjust)
if df is None or df.empty:
return None
df = df.rename(columns=RENAME)
df["date"] = pd.to_datetime(df["date"])
df["code"] = code
keep = ["code", "date", "open", "high", "low", "close",
"volume", "amount", "pct_chg", "turnover"]
return df[[c for c in keep if c in df.columns]] \
.sort_values("date").reset_index(drop=True)
except Exception as e:
if i == retry - 1:
print(f" [FAIL] {code}: {e}")
return None
time.sleep(1.5 * (i + 1))
def batch_download(universe, adjust="hfq", sleep=(0.3, 0.6)):
meta = []
for n, code in enumerate(universe["code"], 1):
fp = f"{OUT}/{code}.parquet"
df = fetch_one(code, adjust=adjust)
if df is not None and len(df) > 0:
df.to_parquet(fp, index=False)
meta.append({"code": code, "rows": len(df),
"start": df["date"].min(), "end": df["date"].max()})
if n % 100 == 0:
print(f"{n}/{len(universe)} 完成,最近: {code}")
time.sleep(random.uniform(*sleep))
pd.DataFrame(meta).to_parquet(f"{OUT}/../meta.parquet", index=False)
return pd.DataFrame(meta)
uni = get_universe()
print("股票池数量:", len(uni))
# 先小样本验证,确认字段无误再全量
meta = batch_download(uni.head(20))
print(meta.head())
# ---------- 复权口径对比:算同一段收益率 ----------
def ret_from(code, adj, start="20200101", end="20241231"):
d = fetch_one(code, adjust=adj, start=start)
d = d[d["date"] <= pd.Timestamp(end)]
return d["close"].iloc[-1] / d["close"].iloc[0] - 1
for adj in ["", "qfq", "hfq"]:
print(f"002472 {adj or 'none':5s} 区间收益: {ret_from('002472', adj):.2%}")
# 结论:qfq与hfq收益率应完全一致,none会因除权偏低
✏️ 今日动手
- 跑通
get_universe(),打印股票池数量,确认在 5000 左右且不含 8/4 开头。 - 先只拉前 20 只,检查 parquet 文件正常、字段齐全、日期升序。这一步不通过不要全量跑。
- 用 002472 和 601111 分别算 2020-2024 的区间收益率,三种复权口径各算一次。写出你的观察:qfq 和 hfq 是否一致?none 差多少?为什么?
- 确认无误后启动全量下载(建议放到后台跑,40分钟量级)。同时把 adjust 改成 "qfq" 再拉一份存到
data/daily_qfq/——后面画图要用。 - 统计
meta.parquet:行数最少的10只股票(大概率是新股或退市股),记下它们,D3 要专门处理。
🔖 明日预告
数据到手了,但它是脏的。明天处理回测里最致命的五类脏数据:停牌、涨跌停买不进卖不出、退市股、ST 改名、新股上市首日——任何一个不处理,你的回测收益都可能是假的。