🎯 今日核心问题
- 怎么做到"每天只拉新增的几行",而不是把 5000 只股票 10 年数据重拉一遍?增量更新的边界条件在哪?
- 数据管道怎么保证"自己知道出错了"?一套最小可行的数据校验该查什么、怎么报警?
📖 精读提纲
【一】增量的核心:三张表 + 一条水位线
完整的本地数据管道只需要三样东西:
① 行情表(按股票分文件):data/daily/{code}.parquet,每只股票一个文件,内含清洗标记列。分区按标的而不是按日期,因为你的使用模式是"取某只股票的完整时间序列",按标的定位最快。
② 元数据表:data/meta.parquet,每只一行——代码、名称、起始日、最后交易日、行数、更新时间,增量的唯一依据。
③ 交易日历:data/calendar.parquet,全市场交易日列表。所有"今天该不该更新""停牌日怎么补"的判断都基于它。
水位线就是每只股票的 最后交易日。增量时,只需要请求 start_date = 最后交易日 + 1天 到现在。5000只股票每天新增1行,全量更新只需几分钟。
关键边界条件:水位线必须来自本地数据本身,而不是"昨天"。如果某只股票停牌了3个月,它的水位线就停在那里,你每天请求的区间都很长但返回空——这是正常的,不要用"今天日期"当起点,否则会漏掉复牌首日。
【二】缓存:区分"慢变量"和"快变量"
不是所有数据都值得每天更新,把它分成两层:
快变量(每天变):日线行情、指数行情。这类用增量更新,成本低。
慢变量(季度/事件驱动):股票列表、行业分类、ST状态、财务、指数成分。按周或按季更新,且必须版本化保存为带日期的快照(snapshot/industry_20261030.parquet),因为财务会追溯调整、成分会变动,无偏回测需要"当时的版本"。
还有一个隐蔽的缓存陷阱:前复权数据不能缓存。每次分红送转后历史值都会变,你缓存的前复权文件会永久错误。所以行情缓存统一存后复权 + 不复权两列,绝不缓存前复权结果。要展示时现场复权。
【三】数据校验:让管道自己喊出问题
管道跑完不报错 ≠ 数据是对的。必须有一层自动校验,每次更新后跑一遍,输出一份"体检报告",异常就喊。最小校验集我建议固定为六条:
- 覆盖率:本次更新成功股票数 / 股票池总数,低于95%报警(大概率是被限流)。
- 新鲜度:全市场最新交易日的股票数应超过4800只。如果只有3000只,说明部分股票没更新到。
- 单日跳变:任一股票单日涨跌幅绝对值 > 21%(超出创业板20%留余量),标记可疑。除权日、数据错误都会触发。
- OHLC完整性:
high >= max(open, close)且low <= min(open, close),且全部 > 0。这条能抓出绝大多数串行/错位。 - 主键唯一:
(code, date)不能重复,重复会导致 join 后行数翻倍、回测收益翻倍。 - 行数变化:与上次相比,某只股票行数突然减少,说明源数据被删改,必须记录并人工确认。
校验结果写成 logs/check_YYYYMMDD.json,同时输出一个总状态。有问题就打印红色警告——不用搞邮件短信,终端里看得见、日志里留得下就够。
【四】常见误区
- ❌ "每天全量重拉一次最省事"——5000只股票全量约40分钟,且每天被限流风险高。增量是10分钟以内的事。
- ❌ "增量起点用昨天"——停牌股会漏数据。起点必须用该股票自己的最后交易日。
- ❌ "缓存前复权数据"——分红送转后全部失效,且你察觉不到。这是最贵的一类缓存错误。
- ❌ "更新成功就是数据对"——接口返回200、df 非空,不代表内容对。没有校验层的管道等于没有管道。
- ❌ "用 CSV 存,反正能读"——5000个CSV读取慢、类型丢失(代码 000001 变成 1)、无压缩。parquet 是标配。
💻 代码示例
import os, json, time
from datetime import datetime, timedelta
import akshare as ak
import pandas as pd
import numpy as np
BASE = os.path.expanduser("~/quant/data")
DAILY, SNAP, LOGS = f"{BASE}/daily", f"{BASE}/snapshot", f"{BASE}/../logs"
for p in (DAILY, SNAP, LOGS):
os.makedirs(p, exist_ok=True)
def load_meta() -> pd.DataFrame:
fp = f"{BASE}/meta.parquet"
if os.path.exists(fp):
return pd.read_parquet(fp)
return pd.DataFrame(columns=["code", "name", "start", "end", "rows", "updated"])
def save_meta(m: pd.DataFrame):
m.to_parquet(f"{BASE}/meta.parquet", index=False)
# ---------------- 增量更新单只 ----------------
def update_one(code: str, last_date, today=None) -> dict | None:
today = today or datetime.today().strftime("%Y%m%d")
start = (pd.Timestamp(last_date) + timedelta(days=1)).strftime("%Y%m%d") \
if last_date is not None else "20150101"
if start > today:
return None
try:
new = ak.stock_zh_a_hist(symbol=code, period="daily",
start_date=start, end_date=today,
adjust="") # 存不复权,复权现场算
if new is None or new.empty:
return None
new = new.rename(columns={"日期": "date", "开盘": "open", "收盘": "close",
"最高": "high", "最低": "low",
"成交量": "volume", "成交额": "amount"})
new["date"] = pd.to_datetime(new["date"])
new["code"] = code
fp = f"{DAILY}/{code}.parquet"
old = pd.read_parquet(fp) if os.path.exists(fp) else pd.DataFrame()
df = pd.concat([old, new], ignore_index=True) \
.drop_duplicates(subset=["code", "date"], keep="last") \
.sort_values("date").reset_index(drop=True)
df.to_parquet(fp, index=False)
return {"code": code, "rows": len(df),
"start": df["date"].min(), "end": df["date"].max(),
"updated": datetime.now().isoformat(timespec="seconds")}
except Exception as e:
print(f"[ERR] {code}: {e}")
return None
# ---------------- 全市场增量 ----------------
def run_incremental(universe: pd.DataFrame):
meta = load_meta().set_index("code")
last = meta["end"].to_dict() if len(meta) else {}
rows = []
for i, code in enumerate(universe["code"], 1):
r = update_one(code, last.get(code))
if r:
rows.append(r)
if i % 500 == 0:
print(f" updated {i}/{len(universe)}")
time.sleep(0.35)
new_meta = pd.DataFrame(rows)
if len(new_meta):
merged = pd.concat([meta.reset_index(), new_meta]) \
.drop_duplicates(subset="code", keep="last")
save_meta(merged)
return new_meta
# ---------------- 数据校验 ----------------
def validate(universe: pd.DataFrame) -> dict:
issues, latest_dates, counts = [], [], []
for code in universe["code"]:
fp = f"{DAILY}/{code}.parquet"
if not os.path.exists(fp):
issues.append({"code": code, "type": "missing_file"})
continue
df = pd.read_parquet(fp)
counts.append(len(df))
latest_dates.append(df["date"].max())
if df.duplicated(subset=["code", "date"]).any():
issues.append({"code": code, "type": "dup_key"})
bad_ohlc = (df["high"] < df[["open", "close"]].max(axis=1)) | \
(df["low"] > df[["open", "close"]].min(axis=1)) | \
(df["close"] <= 0)
if bad_ohlc.any():
issues.append({"code": code, "type": "bad_ohlc",
"n": int(bad_ohlc.sum())})
pc = df["close"].pct_change()
jump = pc.abs() > 0.21
if jump.any():
issues.append({"code": code, "type": "jump",
"n": int(jump.sum())})
latest = pd.Series(latest_dates)
report = {
"ts": datetime.now().isoformat(timespec="seconds"),
"universe": len(universe),
"covered": len(counts),
"coverage": round(len(counts) / len(universe), 4),
"max_date": str(latest.max().date()) if len(latest) else None,
"fresh_stocks": int((latest == latest.max()).sum()) if len(latest) else 0,
"total_rows": int(np.sum(counts)) if counts else 0,
"issue_count": len(issues),
"issues_sample": issues[:20],
}
ok = (report["coverage"] >= 0.95
and report["fresh_stocks"] >= 4800
and report["issue_count"] == 0)
report["status"] = "OK" if ok else "WARN"
with open(f"{LOGS}/check_{datetime.now():%Y%m%d}.json", "w") as f:
json.dump(report, f, ensure_ascii=False, indent=2, default=str)
return report
if __name__ == "__main__":
uni = ak.stock_info_a_code_name()
uni.columns = ["code", "name"]
uni["code"] = uni["code"].astype(str).str.zfill(6)
uni = uni[~uni["code"].str.startswith(("200", "900", "8", "4"))]
run_incremental(uni)
rep = validate(uni)
print(json.dumps(rep, ensure_ascii=False, indent=2, default=str))
if rep["status"] != "OK":
print("!! 数据校验未通过,先修数据再跑回测")
✏️ 今日动手
- 把上面代码拆成
pipeline.py(增量+校验)和config.py(路径、参数),能一条命令跑完:python pipeline.py。 - 先在你已下载的小样本上验证增量逻辑:手动删掉 002472.parquet 最后5行,再跑一次增量,确认能自动补回且不产生重复行。
- 跑一次
validate(),把生成的 json 报告读出来,逐条看 issues。你现在大概率会因为"jump"报警——那些就是D3说的除权日或者脏数据,确认一下是哪种。 - 建一个
snapshot/目录,今天存一份industry_YYYYMMDD.parquet(行业分类)和st_history_YYYYMMDD.parquet。这两份快照是你后面做行业中性化和剔除ST的依据,越早开始积累越好。 - 给管道加个总入口
make daily或 shell 脚本,把"更新→校验→打印摘要"串起来。以后每天开盘后跑一次就完事。
🔖 明日预告
地基完工。明天写第一段真正的策略代码:一个不依赖 backtrader 的精简回测引擎,自己算净值曲线、最大回撤、年化收益、夏普比率——不到150行,但每个数字你都能说清怎么来的。