🎯 今日核心问题

  1. 怎么做到"每天只拉新增的几行",而不是把 5000 只股票 10 年数据重拉一遍?增量更新的边界条件在哪?
  2. 数据管道怎么保证"自己知道出错了"?一套最小可行的数据校验该查什么、怎么报警?

📖 精读提纲

【一】增量的核心:三张表 + 一条水位线

完整的本地数据管道只需要三样东西:

① 行情表(按股票分文件):data/daily/{code}.parquet,每只股票一个文件,内含清洗标记列。分区按标的而不是按日期,因为你的使用模式是"取某只股票的完整时间序列",按标的定位最快。

② 元数据表:data/meta.parquet,每只一行——代码、名称、起始日、最后交易日、行数、更新时间,增量的唯一依据。

③ 交易日历:data/calendar.parquet,全市场交易日列表。所有"今天该不该更新""停牌日怎么补"的判断都基于它。

水位线就是每只股票的 最后交易日。增量时,只需要请求 start_date = 最后交易日 + 1天 到现在。5000只股票每天新增1行,全量更新只需几分钟。

关键边界条件:水位线必须来自本地数据本身,而不是"昨天"。如果某只股票停牌了3个月,它的水位线就停在那里,你每天请求的区间都很长但返回空——这是正常的,不要用"今天日期"当起点,否则会漏掉复牌首日。

【二】缓存:区分"慢变量"和"快变量"

不是所有数据都值得每天更新,把它分成两层:

快变量(每天变):日线行情、指数行情。这类用增量更新,成本低。

慢变量(季度/事件驱动):股票列表、行业分类、ST状态、财务、指数成分。按周或按季更新,且必须版本化保存为带日期的快照(snapshot/industry_20261030.parquet),因为财务会追溯调整、成分会变动,无偏回测需要"当时的版本"。

还有一个隐蔽的缓存陷阱:前复权数据不能缓存。每次分红送转后历史值都会变,你缓存的前复权文件会永久错误。所以行情缓存统一存后复权 + 不复权两列,绝不缓存前复权结果。要展示时现场复权。

【三】数据校验:让管道自己喊出问题

管道跑完不报错 ≠ 数据是对的。必须有一层自动校验,每次更新后跑一遍,输出一份"体检报告",异常就喊。最小校验集我建议固定为六条:

校验结果写成 logs/check_YYYYMMDD.json,同时输出一个总状态。有问题就打印红色警告——不用搞邮件短信,终端里看得见、日志里留得下就够。

【四】常见误区

💻 代码示例

import os, json, time
from datetime import datetime, timedelta
import akshare as ak
import pandas as pd
import numpy as np

BASE = os.path.expanduser("~/quant/data")
DAILY, SNAP, LOGS = f"{BASE}/daily", f"{BASE}/snapshot", f"{BASE}/../logs"
for p in (DAILY, SNAP, LOGS):
    os.makedirs(p, exist_ok=True)

def load_meta() -> pd.DataFrame:
    fp = f"{BASE}/meta.parquet"
    if os.path.exists(fp):
        return pd.read_parquet(fp)
    return pd.DataFrame(columns=["code", "name", "start", "end", "rows", "updated"])

def save_meta(m: pd.DataFrame):
    m.to_parquet(f"{BASE}/meta.parquet", index=False)

# ---------------- 增量更新单只 ----------------
def update_one(code: str, last_date, today=None) -> dict | None:
    today = today or datetime.today().strftime("%Y%m%d")
    start = (pd.Timestamp(last_date) + timedelta(days=1)).strftime("%Y%m%d") \
            if last_date is not None else "20150101"
    if start > today:
        return None
    try:
        new = ak.stock_zh_a_hist(symbol=code, period="daily",
                                 start_date=start, end_date=today,
                                 adjust="")   # 存不复权,复权现场算
        if new is None or new.empty:
            return None
        new = new.rename(columns={"日期": "date", "开盘": "open", "收盘": "close",
                                  "最高": "high", "最低": "low",
                                  "成交量": "volume", "成交额": "amount"})
        new["date"] = pd.to_datetime(new["date"])
        new["code"] = code

        fp = f"{DAILY}/{code}.parquet"
        old = pd.read_parquet(fp) if os.path.exists(fp) else pd.DataFrame()
        df = pd.concat([old, new], ignore_index=True) \
               .drop_duplicates(subset=["code", "date"], keep="last") \
               .sort_values("date").reset_index(drop=True)
        df.to_parquet(fp, index=False)
        return {"code": code, "rows": len(df),
                "start": df["date"].min(), "end": df["date"].max(),
                "updated": datetime.now().isoformat(timespec="seconds")}
    except Exception as e:
        print(f"[ERR] {code}: {e}")
        return None

# ---------------- 全市场增量 ----------------
def run_incremental(universe: pd.DataFrame):
    meta = load_meta().set_index("code")
    last = meta["end"].to_dict() if len(meta) else {}
    rows = []
    for i, code in enumerate(universe["code"], 1):
        r = update_one(code, last.get(code))
        if r:
            rows.append(r)
        if i % 500 == 0:
            print(f"  updated {i}/{len(universe)}")
        time.sleep(0.35)
    new_meta = pd.DataFrame(rows)
    if len(new_meta):
        merged = pd.concat([meta.reset_index(), new_meta]) \
                   .drop_duplicates(subset="code", keep="last")
        save_meta(merged)
    return new_meta

# ---------------- 数据校验 ----------------
def validate(universe: pd.DataFrame) -> dict:
    issues, latest_dates, counts = [], [], []
    for code in universe["code"]:
        fp = f"{DAILY}/{code}.parquet"
        if not os.path.exists(fp):
            issues.append({"code": code, "type": "missing_file"})
            continue
        df = pd.read_parquet(fp)
        counts.append(len(df))
        latest_dates.append(df["date"].max())
        if df.duplicated(subset=["code", "date"]).any():
            issues.append({"code": code, "type": "dup_key"})
        bad_ohlc = (df["high"] < df[["open", "close"]].max(axis=1)) | \
                   (df["low"] > df[["open", "close"]].min(axis=1)) | \
                   (df["close"] <= 0)
        if bad_ohlc.any():
            issues.append({"code": code, "type": "bad_ohlc",
                           "n": int(bad_ohlc.sum())})
        pc = df["close"].pct_change()
        jump = pc.abs() > 0.21
        if jump.any():
            issues.append({"code": code, "type": "jump",
                           "n": int(jump.sum())})

    latest = pd.Series(latest_dates)
    report = {
        "ts": datetime.now().isoformat(timespec="seconds"),
        "universe": len(universe),
        "covered": len(counts),
        "coverage": round(len(counts) / len(universe), 4),
        "max_date": str(latest.max().date()) if len(latest) else None,
        "fresh_stocks": int((latest == latest.max()).sum()) if len(latest) else 0,
        "total_rows": int(np.sum(counts)) if counts else 0,
        "issue_count": len(issues),
        "issues_sample": issues[:20],
    }
    ok = (report["coverage"] >= 0.95
          and report["fresh_stocks"] >= 4800
          and report["issue_count"] == 0)
    report["status"] = "OK" if ok else "WARN"
    with open(f"{LOGS}/check_{datetime.now():%Y%m%d}.json", "w") as f:
        json.dump(report, f, ensure_ascii=False, indent=2, default=str)
    return report

if __name__ == "__main__":
    uni = ak.stock_info_a_code_name()
    uni.columns = ["code", "name"]
    uni["code"] = uni["code"].astype(str).str.zfill(6)
    uni = uni[~uni["code"].str.startswith(("200", "900", "8", "4"))]

    run_incremental(uni)
    rep = validate(uni)
    print(json.dumps(rep, ensure_ascii=False, indent=2, default=str))
    if rep["status"] != "OK":
        print("!! 数据校验未通过,先修数据再跑回测")

✏️ 今日动手

  1. 把上面代码拆成 pipeline.py(增量+校验)和 config.py(路径、参数),能一条命令跑完:python pipeline.py。
  2. 先在你已下载的小样本上验证增量逻辑:手动删掉 002472.parquet 最后5行,再跑一次增量,确认能自动补回且不产生重复行。
  3. 跑一次 validate(),把生成的 json 报告读出来,逐条看 issues。你现在大概率会因为"jump"报警——那些就是D3说的除权日或者脏数据,确认一下是哪种。
  4. 建一个 snapshot/ 目录,今天存一份 industry_YYYYMMDD.parquet(行业分类)和 st_history_YYYYMMDD.parquet。这两份快照是你后面做行业中性化和剔除ST的依据,越早开始积累越好。
  5. 给管道加个总入口 make daily 或 shell 脚本,把"更新→校验→打印摘要"串起来。以后每天开盘后跑一次就完事。

🔖 明日预告

地基完工。明天写第一段真正的策略代码:一个不依赖 backtrader 的精简回测引擎,自己算净值曲线、最大回撤、年化收益、夏普比率——不到150行,但每个数字你都能说清怎么来的。