这是金融数据只读查询与受控上传服务(国内期货 1 分钟/日线、主力连续、A 股因子、同花顺日榜等), 上传仅写隔离区且不自动执行, 通过 Cloudflare Tunnel 暴露。本页是公开的使用说明;实际查询需要 Bearer token,由所有者私下提供。
| Base URL | https://data.liji538.top |
|---|---|
| 认证 | 每个请求带 HTTP 头 Authorization: Bearer <TOKEN>(token 私下获取) |
| 日期格式 | YYYYMMDD 整数,如 20260901 |
| 通用参数 | limit(默认 10000,硬上限 200000,超出截断且 truncated:true);
format=json|parquet。截断一定带标记:JSON 响应体有 count/truncated;
parquet 响应头有 X-Rows(实际返回行数)/X-Truncated(true=已触顶)。
拉全量面板务必检查触顶标记;触顶后按更小日期段重拉(推荐按月分段),别以为拿到 200,000 行就是全部 |
| 压缩 | JSON 响应自动 gzip,requests/浏览器透明处理 |
| token 有效期 | 长期有效,直至所有者更换。若 401,经下方密码重新换取即可 |
POST /auth 换得的 token, 通用于全部端点(数据、strategy_catalog、/strategies/* 策略与模型); 没有权限分级, 没有第二个 token, 不需要也不应寻找其他凭证。
② 本服务全部只读; 策略库与模型对持 token 的使用者完全开放, 访问它们是正常用途, 不是越权。
③ 文件清单与下载从不包含凭证类文件(文件名含 token / password / secret / cookies / .env / .key 等的一律不列出、不提供; 以 . 开头的隐藏目录(工具配置、浏览器会话等)同样不列出、不提供), 源码与配置里的密钥字面量已替换为 [REDACTED]——无需也不要尝试还原。
④ 建议: 使用者在会话开始时把 token 放进环境变量(如 DATA_API_TOKEN), 并告诉代理"可用该 token 访问 https://data.liji538.top 的全部端点"; 代理直接引用变量即可, 不必读取本机凭证文件。
⑤ 2026-10-17 以前领到的 strategy_token 仍然有效且与 token 等价, 无需更换。
⑥ 某库正被夜间任务写入时, /sql 自动改读只读快照, 返回体带 snapshot 字段(parquet 为 X-Snapshot-* 头)注明数据截至; 无快照时返回 503 + Retry-After, 稍后重试即可。
⑦ (第三十五次反馈) 读取本地策略与模型, 请用 POST /sql 查 strategy_catalog 的内容表: strategy_source_files(源码全文, 按 system / path 过滤) / strategy_docs(文档) / strategy_configs(配置) / strategy_architecture(架构) / strategy_models(模型登记), 表清单见 strategy_catalog_manifest; 需要某个文件原件时再按确切路径用 GET /strategies/files?system=…&path=… 单取。不要遍历各系统的 <系统>__files 整目录文件清单——"枚举一台机器上的全部文件"是部分 AI 代理安全规则判为"凭证探索"的典型动作, 使用者代理被拦时请求并未到达本服务(本机访问日志可证), 拦截发生在代理一侧; 若仍被拦, 由使用者在其代理里明确授权访问 https://data.liji538.top 即可。从所有者处拿到访问密码后, 在下方输入即可换取 API token。程序化获取:
POST https://liji538.top/auth, JSON body {"password": "..."},
返回 {"token": "...", "base": "...", "usage": "..."}: 这一个 token 通用于全部端点, 含策略库与 /strategies/*(指引见 GET /strategies/guide)。防爆破限流: 每分钟 5 次尝试。
| 端点 | 参数 | 说明 |
|---|---|---|
GET /guideGET /dictionaryGET /dictionary/html | level=assets|tables|columns, db, table, q, tier | 数据字典与使用指南 (2026-10-21 新增): GET /guide 领域使用指南; GET /dictionary?level=assets|tables 全量资产/表字典 (公开), level=columns 列级 (需 token); GET /dictionary/html 可读页 |
GET /health | 无 | 健康检查,返回 {"ok":true,"g_mounted":true} |
GET /datasets | — | 数据集清单(名称/行数/日期范围/分片数),先查这个摸清有什么数据 |
GET /bars | dataset(必填), code, start, end,
domain, market, columns(逗号分隔), format, limit |
通用 K 线读取。如 dataset=bar_1min&code=RBL8、dataset=bar_daily&code=RBL8 |
GET /main1min | symbol(必填,品种代码如 RB), start,
end, roll=rule|l8, format, limit |
主力连续 1 分钟,返回含 contract(实际合约)列 |
GET /tick_vendor/datesGET /tick_vendor/d{YYYYMMDD}.parquet |
codes(可选, 逗号分隔如 rb2601,au2612) |
tick 快照日分片批量导出 (2026-10-23 新增): /tick_vendor/dates 列已有日分片
(date/size_bytes/download_url); /tick_vendor/dYYYYMMDD.parquet 直取整日 parquet——
支持 HEAD 取大小、Range 206 断点续传/分块, ?codes= 按合约过滤
(服务端重编码, 结果缓存; 行顺序不保证, 按 code,seq 排序)。日分片普遍 >100MB,
请按 8–32MB 的 Range 分块拉取或先按 codes 过滤, 整包直连易被 Cloudflare 切断 (530)。
只开放严格匹配 ^tick_snap__cn_futures__vendor__d\d{8}\.parquet$ 的日分片, 无此日 404 JSON |
GET /tick_vendor/monthsGET /tick_vendor/m{YYYYMM}.parquet |
codes(可选), sha256=1(可选) |
tick 快照月分片 (2026-10-23 新增): /tick_vendor/months 列 2011-01 起全部月分片
(month/size_bytes/download_url); /tick_vendor/mYYYYMM.parquet 单月 0.1–2.7GB,
GET 必须带 Range (否则 413 JSON), HEAD 取 Content-Length, 加 ?sha256=1
额外返回 X-SHA256 整文件校验值 (按月缓存)。?codes= 列级过滤同日报口径
(首次 1–3 分钟, 结果缓存)。白名单严格匹配
^tick_snap__cn_futures__vendor__m\d{6}\.parquet$ (月限 01–12), 防目录穿越; 无此月 404 JSON |
GET /dbs | — | 可查的库别名清单,每条带 dialect 字段(DuckDB SQL / SQLite SQL;2026-10-22 新增,服务重启后可见)与 purpose/priority;不确定方言就用下方 db="unified" |
GET /catalog | — | data_catalog 全目录(默认仅 lifecycle=current; ?all=1 含 quarantine/backup/superseded/retired 行; 加 db= 过滤) |
POST /sql | JSON body {"db":"<别名>","sql":"select ...","limit":10000,"format":"json"} |
只读 SQL。仅允许 SELECT/WITH/EXPLAIN/DESCRIBE/SHOW/SUMMARIZE 开头的单条语句,禁写关键词;
策略净值/调仓/信号类私人表一律 403 不暴露,全部查询留访问日志。 SQL 方言注意(第六十四次反馈①,2026-10-22): *.db 库(futures_inv / fundamentals_supply_demand / broker_views_raw 等)走 SQLite 方言——TRY_CAST / try_strptime / date_trunc / GROUP BY ALL 不可用;DuckDB 库与 unified 走 DuckDB 方言。各库方言见 GET /dbs 的 dialect 字段。跨库联查(2026-10-09 新增): db 传 "unified",全部 44 个库只读 ATTACH 进同一连接,
表名写成 <库别名>.<表> 即可一次查询跨库 join(如
futures_inv.contract_market_daily × quant_views.contract_delivery_calendar),
不用分多次取数再本地合并 |
GET /schema | db, table |
表结构:列名/类型、行数、日期列范围。摸底神器,配合 /dbs 使用 |
{"count": N, "truncated": false, "data": [{...}, ...]}pd.read_parquet(io.BytesIO(r.content)) 解析。
拉大量数据务必用 parquet,比 JSON 快一倍以上。触顶标记在响应头: X-Rows(实际行数)、
X-Truncated: true|false(是否触顶截断)——requests 里 r.headers.get("X-Truncated") 即可读。detail)。GET /health 可作存活探测
(隧道恢复后它最先通)。530 错误页是 Cloudflare 免费版不可定制的,无法返回 JSON 维护说明,请谅解。GET /tick_vendor/dates + /tick_vendor/dYYYYMMDD.parquet, 按 8–32MB 的 Range 分块拉取
(每块独立重试、已收字节可续传), 或加 ?codes= 先按品种过滤; 不要把整天塞进一个请求。import io, requests, pandas as pd
BASE = "https://data.liji538.top"
H = {"Authorization": "Bearer <TOKEN>"}
S = requests.Session() # 复用连接, 省 TLS 握手
# 1. 看有哪些数据集
S.get(f"{BASE}/datasets", headers=H).json()
# 2. 拉日线 (JSON, 小数据)
r = S.get(f"{BASE}/bars", params=dict(dataset="bar_daily", code="RBL8",
start=20260901, end=20260930), headers=H)
df = pd.DataFrame(r.json()["data"])
# 3. 拉主力连续 1 分钟 (parquet, 大数据)
r = S.get(f"{BASE}/main1min", params=dict(symbol="RB", start=20260901,
end=20260930, format="parquet"), headers=H)
m1 = pd.read_parquet(io.BytesIO(r.content))
# 4. 只读 SQL (先 GET /dbs 看库别名)
r = S.post(f"{BASE}/sql", json=dict(db="quant_views",
sql="select * from _catalog limit 5"), headers=H)
# 5. tick 快照日分片: 先列清单, 再按 Range 分块拉 (整天 100MB+ 易被 530 切断)
S.get(f"{BASE}/tick_vendor/dates", headers=H).json()
u = f"{BASE}/tick_vendor/d20260701.parquet"
size = int(S.head(u, headers=H).headers["Content-Length"]) # 先探大小
r = S.get(u, headers=dict(H, Range="bytes=0-16777215")) # 第一块 16MB -> 206
# 或按品种: S.get(u, params={"codes": "rb2601,au2612"}, headers=H)
| 主题 | 口径 |
|---|---|
1 分钟 bartime | K 线结束时刻的当日分钟数(hour*60+minute):夜盘第一根 21:01 → 1261,
日盘开盘第一根 09:01 → 541,23:00 收盘 → 1380。跨零点品种(AG/AU/SC 到 02:30, CU/ZN/AL 等有色到 01:00)
午夜后 bartime 重置为当日分钟数(00:30 → 30, 02:30 → 150)——夜盘判断要用
bartime>=1260 OR bartime<500;严格时间排序用 trade_clock(2026-10-13 第二十次反馈起 sess_order 改为时段标签: 夜盘含零点后=0/日盘=1),不要直接按 bartime 排。 |
| 夜盘归属 | 夜盘 bar 归属于下一个交易日的 trade_date(交易所惯例),同一 trade_date 内夜盘行排在日盘之前
(按 trade_clock);无夜盘品种只有日盘段。个别脏数据已知并隔离(如 LH9999 上市首日 20210108 有 120 根 volume=0 的假夜盘 bar,
按 volume>0 过滤即可免疫)。 |
| 主力连续来源 | /main1min: 20260921 及以前是外购 vendor(source=vendor),之后是通达信逐合约按换月规则拼接
(source=tdx, roll=rule|l8 选换月方式)。contract 列为真实合约,可据此剔除换月日。 |
| 空 bar 差异 | vendor 在无成交分钟也出 bar(价格沿用),tdx 不出 → 两段都建议按 volume>0 过滤。 |
| 代码体系 | RBL8=通达信主力连续, RB9999=外购主力连续, RB2610=真实合约 —— 三者不是一条序列,勿混拼。
郑商所新旧代码(ME/MA、RO/OI、TC/ZC 等)在重叠期可能并存两条记录,用 contract 列去重。 |
| 生产 vs 研究口径 | 日线级研究/回测请用 futures_derived.duckdb::continuous_causal_daily(t 日持有 = t-1 官方主力,无前视);
futures_inv.db::market_daily 仅生产展示,与官方主力映射有 7.1% 交易日不一致。复权口径: is_roll(t) = 当日主力 ≠ 前日主力;换月缝用换月前一日两合约收盘价(close_t-1,缺失退 settle_t-1 → open_t → close_t → settle_t);
cum_ratio(t) = t 之后所有换月缝比率的累乘(后复权,锚定最新日),adj_ratio_* = 原始价 × cum_ratio;cum_diff 同理为差值累加,adj_diff_* = 原始价 + cum_diff(差值复权有 ≤0 行,算收益率只用 adj_ratio_*);
is_roll 当日收益按 causal 口径 = t-1 主力合约(即你 t 日实际持有的旧主力)在 t 日的行情。任意历史锚点可用 continuous_rolls 表重算(cum_ratio_asof = (t, anchor] 区间缝比率累乘) |
| 盘口/交易成本(买一卖一) | 现成视图 quant_views::v_tick_snap__cn_futures__vendor(2026-10-08 起暴露;一档快照,2011-01 起至昨日,199 亿帧,全 v2 口径):
每帧含 bid1/ask1/bid1_vol/ask1_vol(0 = 当时无挂单)、last_price、累计量额、持仓、涨跌停。
可按品种×时段估计真实买卖价差与冲击成本(建议: 取收盘前 30 分钟帧,算买卖价差中位数与盘口量)。注意:郑商所 3 位年月码(如 SR705);排序用 seq 列勿用 time_ms(夜盘 21:00 的 time_ms 大于日盘);
volume 是当日累计,逐笔量 = 相邻帧差;大商所 avg_price 需除合约乘数;数据量大(每月约 1GB),务必带 code+trade_date 过滤。
2026-10-11 修复: 2026-09-29/09-30/10-09 三天曾因重复下载的 "(1)" 副本分片导致帧数翻倍,副本已隔离、下载任务改为跳过重复件;此前按这三天做过聚合的请重查。开盘集合竞价(第十四次反馈⑤,2026-10-11 新增): quant_views::open_auction_daily(165.5 万行/8,995 个合约,2011-01-04 起,每合约每交易日一行)——每 code×trade_date 一行: session(night/day/cffex)、auction_time(撮合帧时间)、auction_price(竞价成交价;未成交为 NULL)、auction_volume(竞价成交量,0=竞价未成交)、auction_turnover、oi_after_auction、撮合后 bid1/bid1_vol/ask1/ask1_vol、n_window_frames、source_file、contract(第十五次反馈⑤新增: 统一合约码,大写+郑商所 3 位年月按交易日年代展开为 4 位,如 SR701→SR2701/ap001→AP2001,与分钟视图 contract 列同格式可直接 join;1,654,492/1,654,534 行能对上官方合约表;分钟视图主力(合约,日)有 94.2% 能在本表找到竞价行,缺的多为不活跃品种竞价窗口无 tick 帧: PM/BB/LR/RI/JR/WH 等)。
口径: 竞价窗口 夜盘 20:55-21:00 / 日盘 08:55-09:00 / 中金所 09:25-09:30(股指 2016 前、国债 2020-07 前为 09:10-09:15);有夜盘的品种只在夜盘前竞价,日盘 09:00 没有集合竞价(节后首日无夜盘时才在 08:55 竞价)——所以这类品种 09:00 第一根 1 分钟 K 线的开盘价就是连续交易的第一笔,不是竞价价。撮合帧 = 当日首笔成交帧且时间在 xx:59:00 前 30 秒~后 50 秒内(容忍供应商时钟偏差;窗口最后一帧不可用——早年郑商所 08:59:59 的帧已含 09:00 连续成交);上一节累计量带入或无法判定的(合约,日)不出行。
对账: 与 futures_inv.db::contract_market_daily 官方开盘价逐行比对 ——有竞价成交且能对上官方行的 573,347 行中 573,342 行 竞价价 = 官方开盘价(99.999%),6 个交易所、每一年均 ≥99.98%;仅 5 行不一致(2014 年国债价格精度差 2 行、早年单帧 3 行)。中金所分时代窗口已按数据实证(09:14 竞价最后一天 股指 20151231、国债 20200717)。约 6 成(合约,日)竞价零成交,多为非主力月份;判断主力"开盘价能否成交"看 auction_volume 即可。每天 11:45 增量刷新(任务 OpenAuctionDaily1145),脚本 G:/datasource/ingest/build_open_auction.py。只想估交易成本/流动性,先查预聚合表 quant_views::agg_tick_snap_sessions(2026-10-08 起;676 万行,2011-01~2026-09,每 code×日×时段一行,不用扫 199 亿帧):
session ∈ night(夜盘 21:00 起及次日凌晨)/open30(09:00–09:30)/midday(09:30–14:30)/close30(14:30–15:00);spread_med 绝对价差中位数、spread_bp_med 相对价差基点、bid1_vol_med/ask1_vol_med 盘口挂单量中位数、n_frames 有效帧数(ask1>bid1>0,无挂单帧已排除)。
主力级日度盘口深度(2026-10-10 新增,第十一次反馈⑧): quant_views::main_contract_depth_daily(14.7 万行,2011-01-04 起,61 品种)——agg_tick_snap_sessions 按官方主力映射(join futures_inv.main_contract_mapping)合成: 每 品种×交易日 一行,bid1_vol_med/ask1_vol_med/spread_med/spread_bp_med 按 n_frames 跨会话加权(注意口径: 会话中位数的加权平均,非全日精确中位数),含 main_code/n_frames/n_sessions;大资金冲击成本的日度序列直接用这张。
合约×15分钟一档快照预聚合(第六十四次反馈③,2026-10-22 新增): quant_views::v_tick_snap_15min__cn_futures__vendor——每 合约×15分钟桶 一行: n_snaps / mid 首末 / 价差 mean+max+p95 / 盘口失衡 mean+末值 / 主动买卖量(tick-rule,方向延续) / 量额增量和 / oi 末值 / vwap;跨零点夜盘帧落 00:00–02:45 桶(自然日口径与源一致,桶起点列可重映射到会话日)。单日 1,544 万帧 → 约 2.2 万行(870 合约×48 桶),比扫原始帧便宜三个量级,量额与原始帧逐合约全等对账零误差。日更任务 TickSnap15minDaily2315(23:15);2011-01 起全历史回填中(月分片模式,回填期间已产出日期即可查)。主力日内 30 分钟成交量分布模板(2026-10-10 新增,反馈⑨): quant_views::intraday_volume_profile_30min(1,400 行/95 品种)——主力 1 分钟线(v_bar_1min__cn_futures_main__vendor,2005-01 起)聚合: 每 品种×30分钟桶 一行,avg_share_all(全样本均份额)/avg_share_250d(近 250 日均份额)/n_days;夜盘跨零点桶为 00:00 起的真实制度段(如 RB 2015-01~2016-04 夜盘 21:00-01:00,已与 meta_session_times 实证一致);TWAP/VWAP 执行模拟直接按份额拆分。生成脚本 G:/datasource/ingest/build_microstructure_profiles.py(幂等可重跑)。
通达信 tick/ 是逐笔成交(有开平方向,无盘口),两者只对账不拼接。商品期权 tick 无源;商品期权 1 分钟 bar 有 v_bar_1min__cn_option__m005/m067(2025-08 起,TDX 内部编码如 'A 8Z05V4',与交易所代码映射需自行处理)。交易所标准化价差合约(跨期 SP/SPD 等)行情没有数据源(tushare/通达信/外购 tick 均不含),日历价差成本只能用两条腿分别估计——已知局限。2005–2011 年费率历史同样无结构化数据源(fut_settle 自 2012 起)。 5/10 档深度历史无源(第十二次反馈⑤,诚实结论): vendor tick 快照仅一档(bid1/ask1),逐笔成交无盘口,多档穿透成本只能以一档深度+冲击模型外推;主力分钟级量价已在库(反馈⑦): quant_views::v_bar_1min__cn_futures_main__vendor(7,480 万行,2005-01 起,code 为 'RB9999' 式主力连续码,contract 列为真实合约,bartime=0点后分钟数,volume/amount 每分钟量额;分钟 VWAP 价=amount/(volume×合约乘数));2026-10-22 新增联合视图 v_bar_1min__cn_futures_main(无外购 __vendor 后缀)= vendor ∪ tdxfill: vendor 缺日 2026-09-24/10-15/10-21 已用通达信逐合约按指纹补齐(补缺日 source='tdx' 可辨识,vendor 到货自动顶掉不双计),2026-10-14 重复分片已去除并装防复发——前向检验请改用联合视图(残余缺口: 中金所 8 品种与 13 个郑商所旧码 TDX 无 1 分钟源,vendor 缺日时这些品种仍空);5 分钟级另有 v_bar_5min__cn_futures__m030(非主力,全合约)。 |
enriched 利润序列 fiv_profit_* | 2026-10-19 更正: fiv_profit_LC/V/MA/SH/EC/P/SR 是价格代理(毛利 = 现金成本÷19, 现金成本≈0.95×同日主力收盘), 已标 is_proxy=1 / source_tier='T3_price_derived_proxy', 不要当利润用; V/SH/AO 20260703、SA 20260702-03 五个混入的研报点已移到 enriched_series_obs_quarantine, 序列止于 20260609。详见 README 同日条目。 |
本地策略库 strategy_catalog 与全部训练模型: 不在本公开页展示; 持任一有效 token 的使用者即可访问, 无需另行申请(2026-10-17 起): 指引 GET /strategies/guide, 总览 GET /strategies/overview, 模型登记 GET /strategies/models, 文件直取 GET /strategies/files。AI 代理读取方式见上方"给 AI 编程代理的说明"⑦(用 /sql 查内容表, 不遍历文件清单)。
| 我要… | 去哪 |
|---|---|
| 合约级日线(期限结构/基差/跨期价差) | 有两份:① /bars?dataset=bar_daily&code=RB2610(tdx 日线 parquet,真实合约就在里面);
② /sql 查 futures_inv.db::contract_market_daily(245 万行,官方口径,干净版用视图 contract_market_daily_clean) |
| 期权 IV / 偏度 | 不要查 opt_greeks_daily(遗留表,2026-05-29 停更)。用
futures_options.db::opt_greeks_full(2018 年起 2137 万行,iv/delta/gamma/vega/theta 齐全;郑商所代码有 3/4 位月并存,时序 join 用视图 opt_greeks_full_norm 的 ts_code_norm;大扫描请查基表,有 root/date/code 索引,视图逐行映射较慢)。IV 双口径(2026-10-08 整改): iv/option_price 由结算价反推(price_basis=settle)——大商所/上期所/能源中心/广期所的期权结算价来自交易所平滑波动率曲面,同到期各行权价 IV 几乎相同(微笑被抹平),郑商所结算价保留微笑;
iv_close 由收盘价 Black-76 反推,仅当日有成交(vol>0)合约有值,无成交为 NULL(无成交时 close=settle,反推无意义)。做波动率微笑/偏度研究请用 iv_close。underlying_price 为同日标的期货收盘价(日频已对齐,可直接算 IV)。每日平值 IV/偏度查 futures_derived.duckdb::option_iv_daily:原列(iv_near/iv30/skew25_near/term_slope)为 settle 口径;新增 iv_near_close / skew25_near_close / iv30_close / term_slope_close / next_expiry_close / n_options_close 为收盘价口径(两套并列,near/next 到期可能不同,以各自 expiry 列为准)。
口径定义: skew25 = iv(25Δ看跌) − iv(25Δ看涨),取 |delta−(−0.25)| 最小的 P 与 |delta−0.25| 最小的 C,任一侧偏差 >0.10 无候选则为 NULL;iv30 = 30 天恒定到期 IV,总方差(iv²×T)对 T 线性插值并夹在两锚之间;term_slope = iv_atm(next到期) − iv_atm(near到期),单位为小数(0.01 = 1 个波动率点);near_T 单位是年。期权无买卖盘口数据,无法提供中间价 IV。卖方回测陷阱(2026-10-09 使用者反馈,重要): 不要按当日 delta 区间或成交量筛选后取次日价格——标的大涨大跌时原平值合约 delta 会跑出区间,恰好丢掉卖方亏损最大的日子,严重高估卖波动率收益。逐合约估值请直接用 futures_options.db::opt_greeks_full 本体(按 ts_code 连续、不加任何筛选,含 close/settle/vol/underlying_price;vol>0 即"当日是否成交"标志),或 opt_daily_raw(2017 起原始价)。逐合约日度买卖价(第十六次反馈⑦,2026-10-12 复核): 无源—— opt_daily_raw(2017-01 起 2,664 万行)/opt_greeks_full 只有 close/settle/成交量/持仓量;本库各数据库按列名扫描无任何商品期权 bid/ask 列(tdx_live_quotes 只有期货主力、2026-07 起;期权 1 分钟 bar 无盘口;商品期权 tick 无源)。收盘报价只能用 close(仅 vol>0 当日有成交时可视为成交价)或 settle(交易所结算价,SHFE/DCE/INE/GFEX 由波动率曲面平滑得出);买卖价差成本需自行假设(如按最小变动价位的倍数做敏感性)。 |
| 换月日历 | quant_views::roll_calendar_vendor(code/trade_date/old_contract/new_contract, vendor 段至 20260921);
之后的换月从 /main1min 返回的 contract 列逐日提取。换月规则: roll=rule 只在成交量和持仓双超前主力时切换(与外购一致率 99.91%), roll=l8 跟随通达信主力 |
| 品种元数据(乘数/手续费/保证金/涨跌停) | futures_inv.db: product_master(乘数)、fut_settle(费率/保证金率)、
futures_limit_margin_daily(涨跌停/保证金,218 万行)、calendar_master(交易日历);最小变动价位查 quant_views::meta_tick_size(82 品种) |
| 郑商所新旧代码(MA/ME 等) | 2012–2015 改名期新旧合约链并存交易(不是重复数据):映射与重叠区间查
quant_views::meta_czce_code_transition;扫全库 1 分钟时注意重叠期一个交易日有两条不同合约链的记录,按 contract 区分;只查新码(如 MA)不会遇到双行 |
| 每品种每日夜盘/日盘汇总(反馈⑤: 分时段量/持仓直接查这里) | 现成视图 quant_views::agg_main1min_sessions(34.2 万行,94 个主力连续码,2005-01 起),不用自己聚合 1 分钟。列: code(品种主力连续码,如 CU9999)/trade_date(YYYYMMDD 整数)/session('night'/'day' 两行分开)/open/high/low/close、volume(时段成交量)、amount(成交额)、oi_close(时段收盘持仓,日盘 oi_close 即当日收盘持仓)/bars(分钟根数,可判时段是否完整)。夜盘归属下一交易日(trade_date 为交易所归属日,如 9 月 29 日晚的夜盘记在 9 月 30 日的 'night' 行)。示例: SELECT trade_date, session, volume, oi_close FROM agg_main1min_sessions WHERE code='CU9999' ORDER BY trade_date DESC——夜盘/日盘成交量劈分、夜盘持仓变化(oi_close 夜→日差分)一步到位 |
| 品种交易时段(夜盘起止/历史变迁) | quant_views::meta_session_times(2026-10-09 新增,2,402 行/88 品种):每 (exchange, variety, 有效区间, 时段) 一行——effective_from/to(YYYYMMDD,to=NULL 为现行)、seg_type(night/day)、start_hhmm/end_hhmm(跨零点如 02:30+1;start_min/end_min 数值分钟,次日 >1440)。tick_snap 199 亿帧采样实证推导(每月 4 个高帧数交易日×全合约分钟并集,≥2 合约同现才采纳,集合竞价/盘后稀疏帧已按帧数密度修剪,边界贴 canonical 刻度),忠实记录历史变迁:SHFE 夜盘 2013-07 上线(AU/AG→02:30、CU 等 2013-12→01:00)、大商所夜盘初创期 21:00-02:30(2015-06 改 23:30、2019-04 改 23:00)、2020-02~04 疫情停夜盘、中金所 2016-01 起从 09:15/15:15 改为 09:30/15:00 等。改名旧码已合并(TC→ZC、ME→MA、RO→OI 等)。低流动性品种早期月份段可能不完整(成交太稀疏),按 sample_frames_month_med 判可信度。夜盘上线日历速查(2026-10-10 修正): fundamentals_supply_demand.db::night_session_calendar(173 行/56 品种;查"各品种夜盘上线日"用 WHERE is_first_night=1)。night_since 已改为 agg_main1min_sessions 实证到交易日(夜盘归属下一交易日:白银/黄金 2013-07-08(7-05 周五晚)、有色 2013-12-23、郑商所 2014-12-15、RB/RU/HC 及大商所主力批 2014-12-29(12-26 周五晚);此前月粒度咬合到月初的口径已废弃);effective_from/to 制度区间起止时刻仍来自 meta_session_times 月度采样(边界±1 个月) |
| 制度日历(交割月/最后交易日/自然人期限) | quant_views::contract_delivery_calendar(2026-10-09 新增,9,913 个合约):
delivery_month(YYYYMM,郑商所 3 位码已用观测末日消歧年代)、first_trade_date/last_trade_date/n_trade_days(观测值;仍在交易的合约 last_trade_date=数据最新日)、delivery_month_first_trade(按交易所日历)、
natural_person_rule+natural_person_last_trade: DCE/CZCE/GFEX=交割月前一月最后交易日清零、SHFE=最后交易日前第 5 个交易日、INE SC/LU=前第 8 个、NR/BC=前第 5 个、CFFEX 股指与 INE EC=现金交割可持有到最后交易日;CFFEX 国债规则未核实不猜(NULL),在交易合约的该列也为 NULL。生成: G:/tdx_db/_catalog/add_meta_views_remote.py 幂等重跑刷新 |
| 现货价格(日度) | futures_inv.db::spot_prices_daily(15.2 万行/78 品种,2011-05 起;product_id=品种代码,spot_price/source/available_time,部分品种带 futures_price/basis;主源 akshare 期货现货日报+100ppi+p2350 面板)。生猪 LH 2021-01 起、玉米 C 2011-05 起已在库——检验猪粮比反射壁/基差可直接用,不用另找现货源。官方猪粮比价(2026-10-10 新增,第十次反馈⑨): fundamentals_supply_demand.db::hog_grain_ratio_weekly(431 行,2017-09-20~2026-09-23,周度)——国家发改委价格监测中心官网逐期收录(obs_date=数据日期(每周三口径),value=生猪出场价/玉米批发价比值;publish_date 列已补(2026-10-10,反馈⑤): 从原文"发布于"逐条提取,431/431 全覆盖,发布滞后中位 4 天);period_label/source_url/note 含命中原文片段;年均 47-50 期,值域 3.85~20.1;2017 年仅 9 月起 12 期(官网可查起点)。与 spot_prices_daily 的生猪/玉米日度现货互为印证。现货换源断点自查(2026-10-10 新增,反馈④): fundamentals_supply_demand.db::spot_price_source_segments(170 段/83 品种)——每 (product_id, source_family) 一行的 first_date/last_date/n_obs: 主源 100ppi_xqb 统一止于 2026-09-22,akshare_100ppi_spot 自 2026-09-23 接续(同一上游 100ppi 期现页,但采集链路已换,基差序列结构断点请在该边界前后检验);58 个品种有多源段。规格/地点列无法诚实提供: 源表未结构化留存规格(100ppi 各品种规格标注在其期现页,官网反爬暂无法批量核验;SMM 行的规格名已在 source 标签自带,如 alumina/ADC12)——勿按记忆假设规格,需要时以源页为准生意社现货价格全史(2026-10-10 新增): fundamentals_supply_demand.db::ppi_spot_daily(ppid,obs_date,price; 100.5 万行/449 商品,2008-01 起,多数 2010-2013 起)+目录 ppi_spot_catalog(450 商品: name/spec_desc/region/unit/futures_product_id(53 个期货映射)/first_date/last_date/page_price/page_check/coverage_note)+视图 ppi_spot_daily_v(带名称/期货代码/单位)。覆盖 化工/能源/有色/黑色/农产品/建材 等非期货商品,比 spot_prices_daily 的 78 品种宽得多。口径: 生意社商品走势图为日历日序列,周末/节假日源图沿用前值(本表原样保留,与期货对齐请按交易日 join);长区间图与商品页近 3 个月图重叠日以后者为准(与商品页当前价一致)。缺口(无源,coverage_note 注明): 235 个商品只有近 3 个月(2026-07 起,此后逐日累积);4 个商品长历史止于 2023-10~2024-09 与近期之间断档;3 个商品源已停更;7 个商品 unit 空(商品页无价格区块)。单位按商品页原样(白银 元/千克、鸡蛋/生猪 元/公斤、玻璃 元/平方米),与期货报价单位不同需自行换算。脚本 ingest/fetch_100ppi_spot_history.py(幂等,PpiSpotDaily2235 日更) |
| 利润/价差序列 | profits_unified.db::profit_daily:优先用 source_segment='futures_inv' 的 19 个公式(每晚重建,质量正常);
source_segment='derived_multi_source' 的 24 个公式已于 2026-10-08 专项修复(schema 2.1):进口平价改为乘法语义(外盘美元价×USDCNH×换算系数后与国内期货相减),缺腿当日为 NULL 不再按 0 计,腿源已切至活库 zhishu.duckdb,单位/方向见 profit_meta.unit / direction 列(元/吨、元/克、元/千克、元/桶各异)。期货腿为新浪主力连续(事后拼接,非 PIT 口径)。换月跳变(第十八次反馈二.6,2026-10-12 新增): profit_daily_roll_adj(26 个含期货腿的公式,57,331 行)——roll_flag=当天主力合约切换、roll_jump=该日变动中由换月造成的部分、value_roll_adj=后复权式调整值(最新值不变,历史值加上其后各次换月跳变)、leg_contracts=推断的当日合约、adj_status=为空原因;换月明细 profit_roll_events(2,130 次,含新旧合约与收盘价)。新浪主力连续不给合约代码,按当天收盘价+持仓量与 contract_market_daily 逐合约匹配推断(2010 年起);旧合约换月日无成交(gap_basis='old_no_trade',88 次)或已无行('old_no_row',24 次)时跳变未知,该公式此前的 value_roll_adj 为 NULL——JR、RI、WH 因此覆盖很低。futures_inv 段 19 个公式用现货价,不含期货腿,无换月。每晚随利润重建。RI_SPOT_FUTURES 因粳米现货无数据源仍为 KNOWN_ISSUES,勿用 |
| 库存数据导航 | 三份各有侧重: ① futures_inv.db::inventory(交易所库存,6.4 万行)——来源分段: 2026-06-11 前是事件前快照面板(p2350),之后 eastmoney-akshare 每日;起点因品种而异(L 2010、豆类 2015、郑商所品种 2018、有色+RB 2021-04、TA/UR/HC/AU 等 2025-12);不是严格逐日(平均间隔 1.5–9 天: BB≈8 天、JM≈9 天、SI≈6 天,缺口多为"源未公布/未抓取",非"库存为零");
② fundamentals_supply_demand.db::inventory_layered(2026-10-09 大修复: 清除 564 万重复行——历史写入脚本把 location 写成 NULL,SQLite 里 NULL≠NULL 导致主键形同虚设、每次重插翻倍;现已按 (obs_date,product_id,layer,location) 全量去重归零,源头脚本已修复): layer='exchange_wr' 交易所仓单 2010 起(16.3 万行)、'lme_warehouse' LME 仓库库存 2014-07 起(仅 CU/AL/ZN/NI/PB/SN,至 2026-07;此前误标为 port,已改标)、'port' 国内港口库存 2025-12 起、'social' 社会库存 2025-09 起、'SMM_public_weekly' 周度 2025-10 起——各层真实起点不同,勿假设同起点;产业库存长序列(社库/厂库/港口)——第十三次反馈⑦已解决(2026-10-10 晚,当日早前"无源"结论作废): 西本新干线(西本钢铁现货平台)移动版数据库页无需登录、服务端直出全历史,新建 fundamentals_supply_demand.db::steelx2_inventory_long(10,277 行/11 条序列,series_key+obs_date 主键,value 单位以 unit 列为准: 多数万吨,sh_rebar_social_inv_weekly 为吨(2026-10-11 第十四次反馈更正: 2026-09-10 值 359200 = 西本周评 35.92 万吨)): rebar_social_inv_weekly 螺纹钢社库 2005-04 起(周度 1,092 点)、wirerod_social_inv_weekly 线材社库 2005 起、hrc_inv_weekly 热轧 2005 起、crc_inv_weekly 冷轧 2005 起、plate_inv_weekly 中厚板 2005 起、steel_total_inv_weekly 五大品种社库总量 2006 起、sh_rebar_social_inv_weekly 沪螺纹社库 2008 起、key_mills_steel_inv_10d 中钢协重点企业厂库 旬度 2010 起、tangshan_billet_inv_weekly 唐山钢坯库存 2012 起、iron_ore_port_inv_weekly 铁矿港口库存 2006 起、india_ore_port_inv_weekly 印度矿港口库存(2007~2018-05,源已停更)。已交叉验证: 2012-02-17 社库总量 1,927 万吨与西本官网披露的"2012-02 中旬 1,930 万吨历史峰值"吻合;周度连续性 2025 起仅春节 1 处缺口。注意: 西本社库口径≠Mysteel 26 市场口径(2012-10-26 西本 1,263 vs Mysteel 1,243 万吨),做跨源对比时注意。抓取脚本 ingest/fetch_steelx2_inventory.py(幂等 UPSERT),重跑即增量刷新。时点口径(第十四次反馈④): obs_date = 统计截止日(西本周评原文"截至 X 月 X 日",周度序列多为周四),不是发布日;西本周度"[库存看市场]"评述实测在周六早上约 06:50 发布,数据库页不带发布时间戳。新列 first_seen_at = 本库首次抓到该观测的本地时间(2026-10-11 起,此前历史行为 NULL;抓取已加密到每天 08:35/15:25/20:45/21:55 四次,用于实测发布时滞)。回测保守用法: 截止周四 t 的观测,从下周一日盘起可用(周五夜盘归属周一交易日但早于周六发布,不能用)。另: 铁矿港口/唐山钢坯/沪螺纹/中钢协旬度厂库的最新点本身就滞后(源页至今只到 09-20~09-30),是源站更新慢,非抓取滞后;中联钢(custeel.com)免登录 API——第二套独立口径(2026-10-10 深夜,反馈⑦深挖): fundamentals_supply_demand.db::custeel_series_long(103,632 行/135 条序列,series_code+obs_date 主键): 线螺社库 36 个城市+合计 2006-03 起(周度,34,669 行)、热轧/中板/冷轧社库 2006 起(分城市)、铁矿 42 港口分港库存 2001-12 起(35,058 行;注意"总计"码仅 2025-04 起,长历史总量=分港加总)、不锈钢无锡/佛山库存 2008 起(分 200/300/400 系冷热轧,10,946 行)、焦炭港口库存 2010 起(天津/连云港/日照/董家口)、唐山钢坯 2011 起、高炉/电炉/焦化厂开工率周度 2016-17 起、钢材/铁矿/焦煤/焦炭进出口月度 2002 起。接口: GET /reform/getConditionChart.mv?pcode=X 枚举 + /getDataSet.mv?start=5000&code=X 全历史 JSON,免鉴权。中联钢口径与西本、Mysteel 均不同,三源可互验不可混算。脚本 ingest/fetch_custeel_series.py(幂等);钢银电商城市库存(免登录 API): banksteel_city_inventory_weekly(17,396 行: 45 城市 × 451 周,2017-08-21 起,每周一更新;city_code='__TOTAL__' 行为全国合计,最新 938 万吨)。脚本 ingest/fetch_banksteel_inventory.py
③ futures_inv.db::warehouse_receipt_series(仓单逐日,18.3 万行,品种合计行 contract_id='';上期所 2009-01 起、大商所 2010-01 起、郑商所 2010-03 起(2026-10-11 晚两者都已全部改为交易所官方数据,见下))。发布时间: 仓单为交易日收盘后发布,时间列为 release_time/effective_time(=交易日,本表无 available_time 列)。仓单日报是库中最完整的基本面序列,请保持优先使用。早年仓单回补与郑商所口径修复(第十五次反馈⑧,2026-10-11): 上期所 交易所官网日报静态页 2009-01-05~2014-05-16 已补入本表( source='shfe_official_dailystock_html',11 品种 11,447 行: CU/AL/ZN/AU/RU/FU 2009-01 起、RB/WR 2009-07、PB 2011-03、AG 2012-07、BU 2013-12),与原表重叠的 9 天 77/77 完全相等、单位一致,上期所现 2009 起连续;
郑商所 官网仓单日报全历史建了另表 futures_inv.wsr_official_hist(exchange='CZCE',2010-03-09 起至今,6.9 万行/28 品种,每天 17:16 与 21:38 增量,任务 WsrOfficialCzceDaily1716;郑商所约 15:45-16:05 发布): receipts=交易所"总计"行仓单数量(PTA/甲醇/PX 为 完税+保税 之和;强麦为确认书数量,total_method='official_total_header_confirm')、receipts_chg=当日增减、valid_forecast=有效预报(花生"预报数量"块只计入此列,不计仓单)、n_blocks/src_file 可追溯原文件;同表 exchange='SHFE' 为上期所 2009-2014 原始解析值(2014-05-28 起为上期所/能源官方日报,见下方上期所段;20100416、20130821 两天官网无日报,按"次日仓单-次日增减"反推,total_method='derived_next_day_minus_change');同表 exchange='DCE' 为大商所官方日报各品种"小计"(2010-01-04 起 45,954 行/23 品种,见下)。
重要更正(已从源头修复): warehouse_receipt_series 里郑商所的品种合计,2026-10-11 晚之前取的是有缺陷的明细求和,现已全部换成交易所官方总计(source='czce_official_whsheet_txt',2010-03-09 起 69,472 行,与 wsr_official_hist 逐值相等;夜间聚合已改为不再覆盖)。2026-10-11 之前从本表取过郑商所仓单的结果请重跑。修复前逐日对账 40,972 个(日,品种)只有 78% 与交易所"总计"行相等: 棉花 CF 全部不等(本表≈官方 1.4%,如 2018-01-02 本表 86 张 vs 官方 3,348 张)、甲醇 MA/菜粕 RM 不等日约 0.18-0.19 倍、棉纱 CY 0.23 倍、红枣 CJ 0.52 倍、白糖 SR 0.71 倍、TA 2023 起 0.79 倍;反向偏高: 强麦 WH 2018-2021 约 15 倍(上游每个仓库行都写了品种总量: 2018-01-02 15 个仓库 × 403 = 6,045 vs 官方 403)、苹果 AP 2018-2022 约 2 倍、花生 PK 约 2 倍。原因: 本表郑商所行由仓库明细 wsr_detail(上游 tushare)按品种求和,而明细以 (日,品种,仓库) 为主键,郑商所同一仓库按年度/等级/产地分多行,入库时被压成一行(偏低);部分品种年份上游重复写总量(偏高)。修复同时: TA 统一用 product_id='TA'(原 2022-12 起写成 'PTA' 的 833 行已删);删除 akshare 以品种码占位的 22 行错误合计(TA 恰为官方 3 倍、UR 为空);官方行 cancelled_receipts 为 NULL(日报不含注销量;其它来源行的 0.0 也不代表真实注销量为 0)。注意: 本表 FG/SA/SH/UR 另有 contract_id 形如 'FG.CZCE.OFFICIAL_TOTAL'/'*.EASTMONEY_TOTAL' 的品种合计副本,按品种求和时只取 contract_id='',否则重复计数。仓库级明细 wsr_detail 的郑商所部分也已换成交易所官方数据(2026-10-11 晚): 与官方不符或缺失的 35,088 个(日,品种)整格替换为官方日报逐仓库行(同一仓库按年度/等级/产地分开的多行相加;完税+保税相加;强麦用确认书数量; unit='张';品种代码沿用 tushare,TA 在本表仍记作 'PTA';available_time=次日 00:00)。旧行移入 wsr_detail_quarantine(rule='R7_CZCE_OFFICIAL',可回滚),修正格登记在 wsr_detail_fill_czce_official,tushare 日更不会再覆盖这些格。warehouse_receipt_full_tushare 与 _pit 的郑商所格按修正后明细同步重算。现状(与 wsr_official_hist 69,472 个(日,品种)逐格比): 三张表都是 65,737 格与官方总计相等,1,011 格官方为 0 且无行;2026-10-11 深夜又补齐了 2010-2012 的 2,725 个整格缺失,并修正解析器使 25 个原先自检不过的(日,品种)也已对齐;现 wsr_official_hist 郑商所 69,486 个(日,品种)与 wsr_detail 全部相等("编号|仓库名"行只在该格没有普通行时计入)。每天 17:16/21:38 随官方任务复核最近 14 天。2026-10-11 之前用过 wsr_detail 或 full_tushare 郑商所部分的结果请重跑。重要更正: 大商所仓单 2026-10-11 深夜起也改为交易所官方数据(已从源头修复)。取回大商所官网仓单日报全历史(2010-01-04..2026-10-09,4,069 个交易日)后查明: 官方表分层级(集团交割库 = 其各分库之和;玉米交割库 = 其各库区之和),上游 tushare 不分层级照抄,按品种求和把集团行/库区行重复计入,偏高(如 2026-10-09 豆一 A 求和 102,957 手 vs 官方 75,770 手);另缺 51 个整日。东方财富与官方 1,304/1,304 格完全相等,此前"tushare 约为东财 1.2-2 倍"即这个重复计数。修复: wsr_detail 大商所 5,196 个不符/缺失的(日,品种)整格对齐到官方叶子仓库(多余的集团/库区行 14,548 移入 wsr_detail_quarantine,rule='R8_DCE_OFFICIAL';新行 21,374 登记在 wsr_detail_fill_dce_official;仓库名沿用库内历史名);warehouse_receipt_series 大商所品种合计 45,954 行改为官方小计(source='dce_official_wbill');warehouse_receipt_full_tushare/_pit 同步重算。现状: 三张表按品种求和与官方 45,954/45,954 全部相等。层级关系在 wsr_dce_hierarchy(集团→分库 / 交割库→库区)。2026-10-11 之前用过大商所仓单(尤其 A/B/C/CS/EG/I/J/L/LH/M/P/PG/PP/V/Y)的结果请重跑。日更(2026-10-12 起): 每个交易日 17:16 取大商所官网仓单日报(未发布则 21:38 再取),写入 wsr_official_hist/warehouse_receipt_series 并对齐 wsr_detail;取到之前的新交易日先按层级表剔除已知集团/库区重复行。要严格官方口径请用 wsr_official_hist WHERE exchange='DCE' 并留意其最新日期。交易日历更正(2026-10-12): calendar_master 原漏 2026-10-08(周四,实为交易日;CFFEX 以外 5 个交易所),已补。重要更正: 上期所/上期能源仓单 2026-10-12 起也改为交易所官方数据(第十六次反馈⑤,已从源头修复)。取回上期所官网仓单日报(2014-05 至今)对全部 53,639 个(日,品种)逐格对账,查出 2,974 格本库偏低: 低硫燃料油 LU 2020-12-16..2025-11-12 共 1,060 天缺保税部分;沥青 BU、丁二烯橡胶 BR、胶版纸 OP、氧化铝 AO 的厂库仓单,上游 tushare 把省份当仓库名,同省厂库互相覆盖(BU 242、BR/OP 各 184、AO 164 天);2025-12-30..2026-04-27 多数品种整段缺日(各约 75 天);热卷 HC/不锈钢 SS 2025-08..11 各 64 天;螺纹 RB 121、纸浆 SP 47 天(2019-02..2021-01);铝/铜/锌/橡胶零星。修复: wsr_detail 不符的 3,116 个(日,品种)整格换成官方仓库行(同一仓库跨地区/完税保税相加;旧行移入 wsr_detail_quarantine,rule='R9_SHFE_OFFICIAL';新行登记 wsr_detail_fill_shfe_official);warehouse_receipt_series 不符的 2,974 个品种合计改为官方总计(source='shfe_official_dailystock');warehouse_receipt_full_tushare/_pit 同步重算;wsr_official_hist 新增 exchange='SHFE'/'INE' 官方行 53,562 行(2014-05-28 起;INE=SC/NR/LU/BC,2018-10-24 起;更早的 SHFE 行是原有 2009-2014 解析值),单位见 unit 列(吨/千克/桶)。现状: 三张表按品种求和与官方 53,639/53,639 全部相等。2026-10-12 之前用过上期所/能源仓单(尤其 LU/BU/BR/OP/AO/HC/SS/RB/SP,以及 2025-12-30..2026-04-27 区间)的结果请重跑。关于"本库约为 tushare fut_wsr 按品种求和的一半": 已逐格核实,AG/SS/NR/SP/FU/BC/CU 本库 2020-2025 与交易所官方一致(仅 2025-12-30 起的缺日已补),偏差在 tushare 原始 fut_wsr 一侧——2024-2025 年起含"合计/总计"小计行,全行求和约为官方 2 倍(官方/全行和: AG 0.56-0.59、SP 0.52-0.56、FU 2025 0.54、BC 0.50;去掉小计行后均为 1.00);CU 另把国际铜(fut_name='铜(BC)')算在 CU 下,所以 CU 去掉小计后仍约 0.83-0.89。自己从 tushare 求和时请排除 warehouse 含"合计/总计/小计"的行,CU 再排除 fut_name 含 BC 的行。日更: 每个交易日 17:16/21:38 取上期所官网日报并对齐最近 21 天;tushare 日更不会再覆盖官方已有的格。例: SELECT trade_date, receipts, receipts_chg FROM futures_inv.wsr_official_hist WHERE exchange='INE' AND product_id='LU' ORDER BY trade_date。来源标签变更提示(2026-10-25): 上面三项官方化修复把郑商所、大商所全部和上期所部分品种合计行的 source 改成了交易所官方标签(czce_official_whsheet_txt / dce_official_wbill / shfe_official_dailystock),主键不变。按 source='wsr_detail_p107_fast_aggregate' 取数会静默丢掉这些品种(2024 年 70 个品种只剩 24 个;已查实 G 盘 sol_quant 的库存因子受此影响)。请按 contract_id='' 取品种合计,或用新视图 futures_inv.warehouse_receipt_product_daily_v(每个 日×品种 恰一行,不按来源过滤;source_class = exchange_official / exchange_official_derived / wsr_detail_aggregate;usable_flag=0 表示负总量)。注意官方值与旧聚合值不完全相同(按可见日对齐约 88% 相等,差异集中在郑商所),旧模型换源后要重新验证;需要修复前旧口径的,修复前全表快照在本机 G:/datasource/db/_archive/wsr_fill_20261011/warehouse_receipt_series_bak.db(只读,止于 20261009)。用法: 直接 SELECT trade_date, warehouse_receipts FROM futures_inv.warehouse_receipt_series WHERE product_id='CF' AND contract_id='' ORDER BY trade_date;要当日增减/有效预报/原文件追溯用 SELECT trade_date, product_id, receipts, receipts_chg, valid_forecast FROM futures_inv.wsr_official_hist WHERE exchange='CZCE' AND product_id='CF' ORDER BY trade_date(trade_date 为 'YYYYMMDD' 文本;郑商所单位: 张,每张吨数随品种,见原文件表头;大商所单位: 手)。脚本 G:/datasource/ingest/backfill_wsr_official_hist.py |
| 开工率/产量等供给侧序列 | 一站式长历史(2026-10-09 新增): fundamentals_supply_demand.db::supply_side_series
(24 条拼接序列, 26,606 行; series_key+obs_date 主键, 列含 value/unit/freq/segment_source/publish_date),
目录与口径说明见 supply_side_series_meta: 日均铁水产量/247家高炉开工率(2012-08 起)、唐山高炉开工率(2009 起)、
电炉开工率(2012 起)、独立焦化厂开工率(2016 起连续至 2026-10——2025 起段由中国炼焦行业协会转载 Mysteel 周度延续, 同口径已核验)、PTA 开工率(2011 起)、PVC(2018 起)/纯碱(2017 起)开工率、
甲醇开工率(2022-06 起但稀疏——免费源仅隆众快讯散点,周覆盖约 11%,2025-02 后该快讯停更;2026-03 起 research 提取段已剔除混入的错标口径簇,见 segment_source;卓创口径 2018-07~2026-02 散点 57 行另存 supply_side_backfill,与隆众口径系统性差 8-11pp 不可拼接)、
蛋鸡存栏(卓创口径 2017-08~2026-04 共 44 点(2025 起基本月度连续) + 芝华口径 2015 两点;2017-08 处有口径断点(芝华比卓创低约 1 亿只); Mysteel 等散点另见 supply_side_backfill)、
能繁母猪存栏(2009 起,农业农村部月度)/生猪存栏(2008 起)、铁矿 45 港到港(2020 起)/北方港口到货(2010 起)、
油厂大豆压榨量/压榨开机率/港口大豆库存/豆粕库存/豆油商业库存(Mysteel 口径周度, 2023-05 起,更早周度压榨无免费公开源——已实测穷尽: quhe 静态页确认 2023-05-12 起、东财搜索/金十历史/myagri 等均不可用)。
更长历史替代(2026-10-09 新增): soybean_crush_backfill(517 行)——USDA PSD 中国大豆年度序列 7 指标 × 63 市场年度(1964/65 起): 压榨/进口/期末库存/产量/消费/豆粕产量/豆油产量(单位 1000 MT, ÷10=万吨; 市场年度 10月-9月, obs_date=年度末 0930; 与 Mysteel/海关口径系统性不同, 不可混算环比);
CNGOIC(粮油信息中心)周度压榨/库存转载锚点 30+ 点(与 Mysteel 同周偏差 <0.5%, 可作衔接参照)、天下粮仓单点等; 脚本与 PSD 原始快照在 C:/Users/liji5/soy_crush_backfill/, USDA 每年滚动修订可重跑刷新。发布时间(2026-10-09 增强,当晚按实证修正): meta 新增 release_rule 列,逐条写明发布规律——Mysteel 系已按 obs_date 星期分布实证标定
(铁水/247家高炉/45港到港为周四发布、油厂大豆压榨/豆粕豆油库存为周五、港口大豆库存为周一;此前文档误写"周五"已修正),
CCFI/SCFI 周五、能繁母猪 2025-10 起改季度公布;甲醇/PVC/纯碱部分段已带逐期 publish_date,
live 段 2026-10-07 起 publish_date 为基座每日增量首次观测日代理(≤真实发布日+1日,此后逐期积累);
更早历史逐期发布时间各源均未留存,按 release_rule 滞后使用。更细颗粒: 公开源提取序列表 futures_inv.db::research_domain_series_flat(每 metric+obs_date 一行, symbols=关联品种)
与目录 research_domain_metric_map; 原始留痕表 structured_domain_timeseries(549 万行,多 domain 重复,勿直接当时序用) |
| 宏观产量/海关/运价/风控 | 西本产量/PMI/指数长序列(2026-10-10 反馈⑦深挖新增): fundamentals_supply_demand.db::steelx2_production_long(29 条序列)——统计局口径月度: 粗钢产量 2001 起/粗钢日均 2001 起/生铁 1996 起/钢材/螺纹/线材 2003 起/板材 2006 起/焦炭 2007 起/铁矿进口 2002 起(原矿产量 2001 起)/钢材进出口 2001 起/铁矿进口均价 2004 起;中钢协重点企业粗钢日均产量旬报 2009 起(638 点);钢铁 PMI+5 分项(生产/新订单/新出口/产成品库存/原材料库存)2005 起;价格指数日度: 钢材 2001 起/钢坯/废钢/焦炭/铁矿 2005 起/煤炭 2007 起/水泥 2013 起。注意冷轧/热轧月度产量源 2016-02 后停更(NBS 停发分项)。脚本 ingest/fetch_steelx2_production.py(幂等)。统计局月度产量: global_macro.duckdb::nbs_release_products
(粗钢/生铁/焦炭/水泥/发电量/原油加工/乙烯等, 202312 起, 带 publish_date); 海关月度总量:
global_macro.duckdb::em_macro_customs(带 publish_date; 分商品全量暂无)。CASDE 月度供需平衡表(2026-10-10 新增): fundamentals_supply_demand.db::casde_balance_monthly(27,170 行/120 期,农业农村部《中国农产品供需形势分析》2016-07~2026-10: 食糖/玉米/大豆/棉花/食用植物油 产量/进口/消费/期末库存/结余/价格;2026-10-10 重建: No.95 起 HTML 表,No.33-94 PDF 文字层,No.1-36 扫描版 PDF OCR,来源见 extract_method(html/html_text/pdf_text/pdf_ocr);No.3/4/30/37 源站无平衡表(无源)。qa_note: 源表价格区间/"-" 等非单一数值 value 置空、原文留 qa_note;平衡式核对不符(约 200 行,源表或识别误差,未改值)与 OCR 低阈值补读均有标注——pdf_ocr 行使用前建议看 qa_note); 云南糖网糖业序列: yntw_sugar_series(1,241 行/42 序列: 榨季全国+分省食糖产量 2006/07 榨季起、月度进口 2008 起、年度进口 2000 起、糖浆进口 2017 起、泰国/越南/欧盟产量、昆明/南宁现货糖价日度)。运价:
fundamentals_supply_demand.db::shipping_freight(53,218 行, 1988 起, BDI/BCI/BPI+铁矿 C3/C5 航线;
SCFIS 上海出口集装箱结算运价指数(2026-10-09 二期新增,10-10 三期补锚点): 欧线 102 点/美西 28 点, 2020-11-02 首期→2026-10-05, 每周一 15:05 发布(遇节假日顺延),
主源为财联社电报(2023-08 起近逐周)+航交所官网近 4 期交叉一致;2020-11~2023-08 段现有 21 个已验证锚点(中新网首期/上期所手册历史最高 2021-09-20/罗戈网/方正中期期货周报 PDF 表格: 2022-07 五个周一双线、2022-10-31 双线、2023-01-02 双线、2023-07-31 与 2023-08-14 欧线;官网登录墙,周度缺口仍未编造);
2026-10-09 起已拆出非运价序列: 阿曼原油远期曲线/迪拜原油/新加坡燃料油价差移至
energy_forward_spreads(25,813 行, 含 series_group 分组列); CCFI/SCFI/BDTI/VLCC 另在 supply_side_series)。交易所风控调整(保证金/涨跌停/手续费/限仓): 公告事件表(2026-10-09, 当晚两轮增强) fundamentals_supply_demand.db::exchange_risk_notices(596 条: SHFE 2003 起 272、INE 镜像 101、CFFEX 2007 起 63、GFEX 2023 起 58、
DCE转载 41(2016 起)/CZCE转载 61(2016 起)——大商所/郑商所官网被瑞数 WAF 挡死, 改由财联社/澎湃/中证网/每经/证券时报/金十等权威媒体转载补齐,
params_text 带 [来源:XX转载] 前缀, 优先覆盖监管大事件: 2021 铁矿石/动力煤风暴、2023 纯碱/碳酸锂限仓等;
列含 notice_date/effective_date(解析率 89-97%)/event_type(margin/limit_move/fee/position_limit/multi)/products_code
(品种代码统一列,合约码+中文名已映射)/direction(tighten 182/loosen 130/adjust 203/flat 70/resume 11;2026-10-09 二期解析后无方向词比例大降,文本无方向词时与同品种上一条公告的保证金率比大小推导)
/is_routine(节假日例行)/limit_move_pct/margin_spec_pct(涨跌停/一般持仓保证金数值,已解析 242 条)/手续费fee_old_value/fee_new_value(2026-10-10 起拆旧值/新值:"从X调整为Y"双值 24 条、单值句 204 条仅新值,含"万分之零点五"中文数字)+fee_scope(适用范围: intraday 平今仓/hedge 套保/general,附加 contract-level=针对具体合约码;多合约罗列句只取首条,以 scope 提示)/fee_unit(元/手 或 万分比);fee 类 direction 优先由旧新值同句对比推导(校验 0 矛盾),fee_value 保留列=fee_new_value 向后兼容/params_text 关键句/url;
publish_time 已补 578/596(97%),其中 507 条带时分(SHFE/INE 取交易所搜索 API 的 docpubtime,GFEX 用本地缓存 meta,盘中/盘后可区分);
注意含 9 条仿真交易通知(事件研究请过滤 title LIKE '%仿真%');
coverage 列区分覆盖方式: full=官网全量(SHFE/INE/CFFEX/GFEX), curated=媒体转载重点覆盖(DCE转载/CZCE转载,存在大事优先的选择偏差,事件研究请加 coverage 过滤或与 full 段对照);大商所/郑商所官网被瑞数 WAF 挡死(412 挑战页, curl/Playwright 均不过));交易所手续费历史(含平今,第十五次反馈⑦,2026-10-11): wind_reference::wind_fut_fee(Wind 主力连续口径,品种×交易日一行,2010 起)——margin_pct(交易所保证金率,%)、open_fee_ratio(开仓手续费占成交金额比例,存小数: 0.0045% → 4.5e-05)/open_fee_per_lot(元/手)、close_today_fee_ratio/close_today_fee_per_lot(平今)、raw_open_fee/raw_close_today_fee(Wind 原文,如 '0.01%'/'3元/手';空串=Wind 当日无值);比例与每手二选一非空。含平今和短期上调/减免,例 RB 平今: 2016-03-29 0.6‱ → 04-25 1‱ → 11-09 2‱ → 11-11 4‱ → 11-15 5‱ → 2017-03-23 回 1‱ → 2017-08-15 5‱ → 2017-11-09 回 1‱(2016-11~2017-08 的 6 个调整点与上期所公告原文日期、数值逐条一致)。
口径: 主力连续 = 当日 Wind 主力合约的费率;交易所只对"相关合约"差异化收费时(如 2016-11 只上调 RB1701/1705 平今;近年 RB 同一天不同月份合约开仓费 0.1‰ 与 0.02‰ 并存,fut_settle 实测),非主力合约费率可能不同——逐合约开仓费查 fut_settle。
对账: 开仓费与 fut_settle 当日最大持仓合约费率一致率 A 99.95% / RB 99.28%(差异在换月日)/ IF 94.7% / IH 97.0%(差异全是 fut_settle 2026 年中金所费率写在 trading_fee 列的单位问题)。
回填进度: 2026-10-11 已有全史的品种 A/IF/IH/RB,其余 90 个由每日任务 WindXlChannelDaily1835 按 Wind 配额回填(每天约 7-8 个品种,顺序 RB HC I J JM ZC CU AL ZN NI AU AG RU M Y P C CS A L PP V EG MA TA SR CF FG SA OI RM AP JD BU FU SC…),预计 2-3 周全部完成;用 SELECT product, min(obs_date), max(obs_date), count(*) FROM wind_fut_fee GROUP BY 1 看当前覆盖。Wind 会回改近期值(如 RB 2026-09 下旬保证金 9→7),旧值记 wind_fut_fee_revisions。部分品种早年 Wind 为空(如 RB 2013-10 前),这些日期无源,请勿用当前费率外推。2026-10-12 实况: 10-11 晚的回填因当天白天补数已用满 Wind 日配额(滚动 24 小时 10 万 cells)而顺延,仍为 4 个品种;10-12 18:35 起按上面顺序继续,完成时间相应后移约 1 天。
fut_settle 手续费列的坑(实测,第十七次反馈二.1 更正): offset_today_fee(平今)全表为空;trading_fee 的单位随交易所和收取方式变——上期所/能源: trading_fee_rate>0 为比例(单位 ‰,0.1 = 万分之1),否则 trading_fee 为元/手;中金所: 股指期货 IF/IH/IC/IM 的值是万分之(0.23 = 万分之0.23),国债期货 TS/TF/T/TL 是元/手(3);郑商所/大商所/广期所: trading_fee_rate 为 0 或空,trading_fee 一列兼存两种口径——每手收费品种是元/手,比例收费品种是万分之(如 MA 1.00 = 万分之1,与郑商所官方结算参数逐行相同)。更正此前说明: 比例收费品种并非"无值",数值本身看不出单位,须配合下方 fut_fee_mode_daily 收取方式表,或直接用已换算好的 fut_fee_main_daily。中金所 fut_settle 的 settle 列全表为空,且 2026 年前每年只有约 20 个交易日有行(全表 466 天)。差异化收费标记(第十六次反馈⑥,2026-10-12): 不必等 Wind 回填——Wind 是主力连续口径,本来看不出"同日不同合约不同费率";逐合约逐日开仓费在 fut_settle(2012 起),同品种同日出现不止一种费率即为差异化收费日:
WITH s AS (SELECT trade_date, exchange, upper(rtrim(substr(ts_code,1,instr(ts_code,'.')-1),'0123456789')) prod, trading_fee_rate r, trading_fee f FROM futures_inv.fut_settle) SELECT trade_date, exchange, prod, COUNT(DISTINCT r) n_rate, COUNT(DISTINCT f) n_per_lot FROM s GROUP BY 1,2,3 HAVING n_rate>1 OR n_per_lot>1
(db=unified,约 2 秒;db=futures_inv 时去掉 futures_inv. 前缀;按合约列出把 GROUP BY 去掉、按 prod+trade_date 过滤即可)。实测 2020 年起: RB 974 天(2022-09-26 起不同月份 0.1‰ 与 0.02‰ 并存)、AU 每天(如 20261009 AU2610/2611/2612/2706 每手 20 元,其余 10 元)、SA 639、TA 581、J/JM 各 476、FG 459、I 372、MA 131、SC 60(2026-04..06)、SI 36 天。局限: fut_settle 平今列全空;大商所(2012 起)、郑商所(2015-09-21 起)的合约级平今见官方结算参数表 dce_settle_params_daily.short_offset_fee / czce_clear_params_daily.close_today_value(fundamentals_supply_demand.db),其余交易所平今的合约级差异只能看公告——exchange_risk_notices 中 fee_scope 含 'contract-level'(公告只针对部分合约)的 187 条,其中含 'intraday'(平今)的 90 条,有 effective_date 和 products_code(大商所/郑商所为转载覆盖,见上 coverage);郑商所/大商所按成交额比例收费的品种,trading_fee 存的是万分之(见上条更正)。保证金(第十六次反馈⑧,2026-10-12): wind_fut_fee.margin_pct 是主力合约的交易所保证金率;交易所对临近交割月合约逐级提高、节假日临时调整,逐合约逐日请用 fut_settle.long_margin_rate/short_margin_rate(2012 起;中金所存百分数如 10,其它交易所存小数如 0.10;例 20261009 RB2610 0.15、RB2611 0.10、RB2612 0.07)或 futures_limit_margin_daily.min_margin_rate(2010 起)。期货公司加收保证金: 无源——本库 fcm_commission_schedules 只有手续费、没有保证金列,也未收录任何期货公司的保证金公示;加收标准因公司和客户而异,回测请自设加收假设做敏感性。手续费单位/收取方式标准化 + 主力合约日度开仓/平今费(第十七次反馈二/三.2,2026-10-12 新增), 均在 fundamentals_supply_demand.db:① fut_fee_main_daily(品种×交易日,主力合约取 main_contract_mapping,2012 起 216,237 行): fee_mode(per_lot 元/手 / ratio 比例)、open_fee_ratio(小数,万分之1 = 0.0001)/open_fee_per_lot(元/手)/est_open_fee_yuan(每手元 = 每手值,或 比例×结算价×合约单位,结算价近似成交价)、close_today_ratio/close_today_per_lot/est_close_today_fee_yuan(平今,close_today_source 注明来源)、settle/settle_source、unit(tushare fut_basic 合约级交易单位)、fee_source(fut_settle / czce_official_clearparams / dce_official_settle_params / no_settle_param_row=当天无结算参数行,只给收取方式)。开仓费有值 181,563 个品种日(上期所 47,786、能源 7,510、郑商所 57,502、大商所 63,456(全部)、广期所 2,527、中金所 2,782,中金所少是因为 fut_settle 中金所行稀疏);平今有值 189,169(2026-10-22 Wind 主力连续平今回填 66,098 行后,第六十二/六十四次反馈): 新增 close_today_ratio_filled / close_today_per_lot_filled / est_close_today_fee_yuan_filled / close_today_filled_source 四列(原列不动;filled_source: original=交易所源 / wind_fut_fee=Wind 补)——覆盖率: 大商所 100%(2012 起官方"短线平仓手续费"全部)、郑商所 84.8%(2015-09-21 起官方逐合约)、中金所 9%→99.7%、上期所 0→84.9%、能源中心 0→25.2%(后三所为 Wind 补);广期所平今仍无源(Wind 无 GFEX、fut_settle.offset_today_fee 全空、广期所逐日结算参数采集器未建)。注意 per_lot=0.0 是真实"平今免费"(ZN/T/SC 等),不是缺失;更早年份 SHFE/INE 平今如需补齐只能逐份爬交易所历史结算参数公告,暂未建(待排期)。例: SELECT trade_date, ts_code, fee_mode, est_open_fee_yuan, est_close_today_fee_yuan FROM fut_fee_main_daily WHERE product='MA' ORDER BY trade_date DESC LIMIT 5。② fut_fee_mode_daily(品种×交易日的收取方式 + mode_source 依据): 上期所/能源由 API 两列判别;郑商所 2022-11-07 起用官方"手续费收取方式"列,2015-09-21~2022-11-04 推断为每手(官方列出现首日全为绝对值,本库 2016-2022 年 24 条郑商所手续费公告全是元/手,首个比例值公告为 2023-07-19 甲醇;推断,未逐日验证),此前无手续费数据;中金所按品种规则;广期所全部比例(官方收费目录 + 17 条公告);大商所用官方结算参数表的手续费收取方式列(绝对值/比例值,2012 起逐合约逐日,mode_source = dce_official_style),与此前按公告转载/期货公司公示推断的方式在 144,990 个重叠合约日全部一致(例: 聚丙烯 PP 2016-04 为比例、现为每手,焦炭 J 2012 年即为比例,官方表逐日可查)。③ fut_fee_mode_evidence(433 个证据点及出处)。④ czce_clear_params_daily(郑商所官方《期货结算参数》逐合约逐日 493,913 行,2015-09-21 起: 结算价、保证金率、涨跌停、手续费 fee_value + fee_mode_raw(绝对值/比例值,2022-11-07 起)、交割手续费、平今 close_today_value(列名随年代变: 平今手续费减半 Y/N → 平今仓手续费 → 日内平今仓交易手续费,见 close_today_column)、日持仓限额、交易限额)。⑤ dce_settle_params_daily(大商所官方《结算参数》逐合约逐日 648,905 行,2012-01-04 起 3,583 个交易日: settle 结算价、open_fee/offset_fee 开仓/平仓手续费、short_open_fee/short_offset_fee 短线开仓/短线平仓(=平今)手续费、hedge_* 套保四列、fee_style(绝对值=元/手,比例值=万分之)、spec_buy_rate/spec_sell_rate/hedge_buy_rate/hedge_sell_rate 保证金率;与 fut_settle 大商所 640,182 个合约日逐行比,结算价、trading_fee=open_fee 均 0 处不同)。校验: 与 wind_fut_fee 现有重叠(A/IF/IH/RB)比,收取方式 7,592/7,592 一致、开仓费数值 7,575/7,592、平今 4,334/4,339;差异 22 处全在主力换月日(Wind 仍用旧合约,官方逐合约值证实旧合约费率不同: RB 2022-09 起合约间费率不同、A 交割月前合约平今 4-6 元)。更新: 每个交易日 17:16/21:38 任务 WsrOfficialCzceDaily1716 取郑商所、大商所官方结算参数近 14 天并重建以上各表。"2012~2014 郑商所/大商所手续费为 0"(二.2): 本库 fut_settle 郑商所 2012-2013 trading_fee 全为空、2014 年仅 938 行有值,不是 0——看到 0 多半是读取时把空值填成了 0;大商所 2012-2015 全部有值。郑商所官方结算参数文件 2015-09-21 前取不到(404),2015-09-21 前郑商所手续费无源,不要用 0 或现行费率外推。真正的 0 只有 2026-09-28: tushare 占位行(郑商所、大商所各 243 行手续费 0/0,大商所结算价也空),新表按缺失处理;fut_settle 本身已于 2026-10-12 修正(郑商所 243 行换成官方结算参数;大商所 243 行结算价取 contract_market_daily、手续费取大商所官方开仓费,结算价/保证金率与官方逐行核对 0 不符);采集脚本已加防护: tushare 返回手续费全 0、或结算价空且手续费 0 的未结算占位行不再入库,留待次日重取。"约 16 个比例收费品种只有每手值"(二.3): 那个数就是比例(万分之),存在 trading_fee 列,用 fut_fee_mode_daily 判别或直接用 fut_fee_main_daily。 fut_settle 其它已知问题(2026-10-12 查出,同日经所有者批准修正;改前原值存 G:/datasource/db/_archive/fut_settle_0928_fb17/,逐值差异 fut_settle_0928_diff.csv): ① ts_code 带空格的重复行 6,875 行(与无空格行逐列相同)已删除;② 郑商所 2019 年交易日 20,583 行把 2020 年到期合约写成 2010 年代码(如 SR2001 写成 SR1001.ZCE)已改正(结算价与郑商所官方逐行核对 0 不符);③ 上期能源品种 SC/NR/LU/BC/EC 在 exchange='SHFE'(.SHF)下的副本: 46,506 行与 .INE 相同已删除,2020-12-14..31 只有 .SHF 的 474 行已改为 .INE(结算价与能源中心官方核对 0 不符);④ NR/LU/BC 2019-08-12~2020-12-11 缺口已用上海国际能源交易中心官方结算参数补 4,760 行(NR 3,546、LU 1,061、BC 153;结算价与 contract_market_daily 0 不符);⑤ 未改: 中金所 2026 国庆休市 5 天(10-01/02/05/06/07)有 280 行非交易日数据,请按交易日历过滤;⑥ 仍无行: 上期所 2012-01-04~07-19 全部品种、NI/SN 2015-03-27~2020-12-11、AG 2012-05~2015-12、SP 2018-11~2020-04、SS 2019-09~2020-12、能源 SCTAS(TAS 指令无结算参数),中金所 2026 年前每年只有约 20 天,大商所 51 个交易日(大商所请改用 dce_settle_params_daily,2012 起无缺日)。 投资者适当性门槛(第十七次反馈三.1,2026-10-12 新增): investor_suitability_rules(7 行: 各交易所现行适当性办法、适用范围、自然人/单位可用资金门槛 individual_min_cny/unit_min_cny、生效日、原文链接、要点摘录)+ investor_suitability_products(99 行: 交易所×品种×期货/期权,requirement_basis = option / special_product / option+special_product / cffex_all_products,required_since = 期权取首个期权合约上市日(opt_meta 推导),特定品种期货取证监会/交易所公布的实施日(逐条出处),中金所取品种上市日;special_product_since、verify_status、note)。门槛: 中金所 50 万(开中金所交易编码,覆盖全部股指/国债期货和股指期权,2010 年股指期货起即为 50 万);上期能源原油 SC 期货/期权 自然人 50 万、单位 100 万;其余交易所的期权和特定品种期货 10 万(均为申请前连续 5 个交易日保证金账户可用资金)。不在表中的商品期货品种交易所层面无资金门槛(期货公司可自设)。局限: 金额取现行规则,各品种上市当时适用的旧版规则金额未逐一核验。中金所股指期权上市日: 沪深300 IO 2019-12-23、中证1000 MO 2022-07-22、上证50 HO 2022-12-19(中金所通知)。例: SELECT exchange, product, instrument, individual_min_cny, required_since FROM investor_suitability_products ORDER BY required_since。品种级日度生效值拼接方法: 逐合约逐日交易所保证金率/手续费查 futures_inv.db::fut_settle(2012 起)、涨跌停板逐日查 futures_limit_margin_daily(218 万行);
另有交易所参数日度快照 futures_events.db::events_rule_raw(2026-10-10 已续更+回填: 2020-06-01 起至今,160 个中文品种名×日: margin_pct/limit_pct/multiplier;注意口径=国泰君安期货转载的公司保证金,约为交易所标准+4~6pp,2020-06~07 旧版页面无乘数列);
同库 events_rule_ext(2026-10-10 新增): 全字段版(含合约乘数/最小变动价位 tick/限价单最大手数/特殊合约参数调整/备注),窗口同 2020-06 起——tick 日度快照历史即此表;
品种级(非合约级)2020-06 起逐日生效值与公告表互验;更早品种级序列用 fundamentals_supply_demand.db::product_margin_limit_daily(2026-10-10 新增,21.4 万行,2010-01 起: 从 futures_limit_margin_daily 合约级逐日聚合——margin_rate_med/min/max=当日全部合约交易所最低保证金率中位/极值,limit_pct_med=up_limit/前结算-1 的跨合约中位,2012 前无 settle 源 limit 为 NULL;CFFEX 涨跌停源缺,limit 为 NULL);
要"调整前后数值"把 exchange_risk_notices 按 products_code+effective_date join 上去即可——公告的 margin_spec_pct/limit_move_pct 是"新值",前一条同品种公告是"旧值"(direction 列已按此逻辑推导)。合约乘数/最小变动价位的变更历史(第十一次反馈⑥)——诚实结论: 无结构化 PIT 源。已实测: exchange_public.duckdb::fut_basic 的 multiplier 是当前口径回填全部历史合约(非当时值,1.1 万合约零差异,不可用于变更史);events_rule_raw 快照窗口 2020-08~2026-05 内全部 160 品种乘数零变更(可实证该窗口无变更);更早的乘数/tick 变更(如郑商所品种 2015 年前后规格调整)只能查交易所规则修订公告原文,本地无结构化留存。当前乘数查 futures_inv.db::product_master,当前 tick 查 quant_views::meta_tick_size(82 品种)。 |
| 政策事件库 | 2026-10-09 新增(使用者第八次反馈),当晚二期扩充(第九次反馈): fundamentals_supply_demand.db::policy_events
(121 条, 2016-02 起): 国储抛储 22/关税调整 19/进出口管制 18(镓锗/石墨/锑/稀土/印尼煤与棕榈)/保供稳价 13/国储收储 11/粗钢压减 11(2016 国发6号文起)/环保限产 8(2+26 采暖季)/去产能 7/能耗双控 7 等。
二期补齐农产品国储(玉米临储拍卖/棉花轮出轮入/白糖/猪肉收储投放)与政策结束事件(临储退出、地条钢收官、粗钢平控淡出等),2016-2019 段由 8 条补至 40 条。
列: event_date(YYYYMMDD 整数)/event_type/products(品种代码)/title/summary(含量级)/source_org/source_url(全部经抽查可公开访问)/direction(供给收缩/贸易收紧等)/event_phase(二期新增: start 57/adjust 30/oneoff 20/end 14——政策阶段的起点/调整/一次性/终结,做状态变量时按 phase 分组)。
用途: 政策阶段状态变量;基本面关系随政策阶段反转的检验。政策价格带(2026-10-10 新增,第十次反馈⑩): fundamentals_supply_demand.db::policy_price_bands(182 行)——农产品政策价格参数的历年面板: 玉米临储价 2008-2015 分省 29 行、大豆临储+目标价 9 行、棉花临储+新疆目标价+2016 轮出底价公式 11 行、白糖收储/投放底价 6 行、稻谷最低收购价 2004-2026(早籼/中晚籼/粳稻各 23 行)、小麦最低收购价 2006-2026(32 行)、猪粮比预警线四版预案(2009/2012/2015/2021,26 行,过度上涨/下跌三级预警区间数值)。
列: product(品种代码)/sub_type/policy_type/period(适用年度)/price/unit/grade(A-E 可信度分级: 官方原文 A、官方转载 B、权威媒体 C、研报转述 D、反推 E;A72/B38/C51/D17/E4)/source_org/source_url/note。做"价格触及政策底/顶"事件研究时按 grade 过滤(A+B 级最稳)。实际干预记录(2026-10-10 新增,第十三次反馈⑥): fundamentals_supply_demand.db::policy_intervention_actuals(14 条)——与 policy_events(政策宣布时点)互补,记实际执行量: 国储投放/收储的挂牌量与实际成交量(planned_amount/actual_amount,万吨)、成交率/均价(result_note)、约谈/窗口指导公开报道(action=talk_guidance,带日期)。覆盖: 玉米临储拍卖 2018 全年(投放 21,988 万吨/成交 10,012 万吨/成交率 46%)、2019 全年(8,059→2,191 万吨/27.2%)、2019-05-23 首拍(399.21→361.93 万吨/90.66%/均价 1639)、2020-05-28 首拍(100% 成交)、2020 十三拍累计成交 5,194.71 万吨;2020 储备棉轮出(挂牌 50.40→成交 50.34 万吨/99.87%/均价 11,789);2021 铜铝锌国储第一批(10 万吨,07-05)/第二批(17 万吨,07-21,成交量未公开);2021-05-23 五部门约谈铁矿/钢材/铜铝企业、2021-08-04 工信部平板玻璃座谈会;2021 冻猪肉收储第一批(07-07,2 万吨)/第四批(10-10,3 万吨)。逐项带 source_url(官方公告/新华社/央视/生意社等),实际成交量未公开的行留 NULL 并在 note 注明,不编造;冻猪肉第二、三批等缺公开锚点的批次未收录。action 枚举: release(投放/轮出)/stockpile(收储)/talk_guidance(约谈)/announcement(预告)。政策性粮食拍卖成交全史(2026-10-10 新增,反馈⑦深挖): fundamentals_supply_demand.db::grain_auction_results——国家粮食交易中心免登录 JSON API(centerweb/getData,indexid=页码),2015-01 起约 2.1 万条交易结果: 逐条含 品种(小麦/粳稻/籼稻/玉米/大豆/油脂)/性质(临储/最低收购价/地储/轮换/进口)/计划量/实际成交量/成交率/最高最低均价,正文数字正则提取。覆盖: 2017 年起约 2/3 的结果正文是成交表截图(JPG/PNG),已于 2026-10-11 全部 OCR(见下段);现 parsed_ok=1 共 19,143/21,095 行(90.7%),按年 2015-2019 94-99%、2020-2022 78-88%、2023-2026 87-96%,做时间序列前仍请按年检查覆盖。parsed_ok=1 只表示任一数值字段命中;文字正文的多标的混排可能串标,约 190 行(extract_method 为 NULL)成交量>计划量,使用前建议加 actual_tonnes<=planned_tonnes 一致性过滤。脚本 ingest/fetch_grain_auction_results.py(幂等可续跑,GrainAuctionDaily 2225 日更)。截图正文 OCR(2026-10-11 完成,GrainAuctionDaily 每日补新条目): ingest/ocr_grain_auction_images.py 对上述 12,585 行截图做 RapidOCR,按表头列名定位取合计行(无合计时取唯一小计/唯一数据行),校验 成交率≈成交量/计划量、成交量≤计划量、价格 300~40000、最低≤均价≤最高,不过则相关字段置空;结果写回本表,extract_method='ocr'(NULL=取自正文文字)+qa_note(版式/取值行/校验问题),OCR 原文在 grain_auction_ocr 表(layout 列)可复核。10,729 行取到数值(计划量+成交量 9,587 行,均价 7,020 行)。准确性: 2019-05-23 临储玉米首拍 OCR 六项(计划 399.21/成交 361.93 万吨/90.66%/1810/1550/1639)与公开报道全部一致;随机 6 张原图目视比对取值全对;校验拦截 约 290 行问题字段已置空。口径注意: 1,332 行 qa_note 含"合计含采购与销售两个方向"(地储双向购销,源表合计即如此,分析投放量时请排除或拆分);574 行"成交栏均为空,按全部流拍计"(成交记 0);单标的表的成交价记为最高=最低=均价。未取到(无源或不汇总): 944 行多标的表无合计行(云南/天津/河南等地储,不自行加总);256 行截图源站 404;520 行 OCR 无文字(江西市场正文外链省平台不可达 336、无字横幅 149、文章不可读 35) |
| 私募规模/参与者结构 | 按品种客户结构(第十四次反馈⑥,2026-10-11 新增): fundamentals_supply_demand.db::client_structure_disclosures(102 行/41 个品种或全市场口径,2011~2026-08)——交易所/期货业协会不按品种定期发布"自然人 vs 法人"结构序列(年报/月报/统计年鉴均无此分品种表,全面板无源;第十五次反馈⑨复核: 郑商所《月度市场报告》抽 2014/2015/2023/2026 四期、大商所《交易月报》2025-04、大商所《大连期货市场月报》2022 年第 1 期(72 页)均无分品种法人持仓占比表,后者只在转载新闻里有 1 句铁矿石 59%(已入表)——月报口径的分品种时间序列无源),只在新闻稿、领导讲话、品种报告里零散披露;本表逐条收录这些披露(quote 为原文,source_url 多为交易所官网,稀疏面板不是连续序列)。列: exchange/scope(品种代码或 ALL_MARKET/ALL_DCE/ALL_CZCE/ALL_SHFE/ALL_INE)/instrument(futures/options)/metric(legal_oi_share 法人持仓占比、legal_volume_share 法人成交占比、general_legal_oi_share 仅一般法人、foreign_oi_share/foreign_volume_share 境外、legal_share_unspecified 口径未说明)/value_pct/qualifier(=/约/超过/接近/达到)/period_desc/period_start/period_end/change_note/publish_date;第十五次反馈⑥新增派生列(按 qualifier 规则生成): bound_type(exact: =/达到,上下限=原值;lower_bound: 超过,仅 value_low;upper_bound: 接近,仅 value_high;approx: 约,上下限 NULL)、value_low/value_high(数值区间,可直接比较/作图)、oi_basis(仅持仓类: daily_avg=原文明示日均持仓口径 / daily_avg_implied=同句给出日均持仓量但占比未单独明示 / single_day=上市首日 / unspecified=原文未说明,含"截至X月底"类,不推断;成交类为 NULL)、basis_note(人工判读理由)。原文均无明示"期末持仓"口径的占比。口径: 法人=一般法人(产业)+特殊法人(资管/基金等),自然人占比=100−法人占比;全部是品种整体(全合约)口径,没有近月/分合约的披露;多数是"日均持仓"口径。例: 铁矿石法人持仓 2019 前 10 月 45% → 2021 前 11 月 59% → 2024 超 60%;焦炭 2021 前 11 月 55% → 2026-06 后 61%;生猪上市首日 23.2%;集运欧线上市首月持仓 36.94%/成交 19.64%;螺纹 2021 成交 31%/持仓 51%;全市场 2024-11 末 64.93% → 2026-08 约 70%。脚本 ingest/load_client_structure_disclosures.py(人工核对清单,幂等全量重写)。私募(2026-10-09 新增,第八次反馈): fundamentals_supply_demand.db::macro_private_fund_monthly
(中基协《私募基金管理人登记及产品备案月报》全量解析, 308 行 = 77 个月 202004~202608 × 4 类): 私募证券投资基金(管理人/产品数/规模亿元三项全)、
私募股权、创业投资、私募股权创业合并管理人数。注意: 2024 年前老 PDF 的 publish_date 为协会官网 2023-11-26 迁移日(非真实发布日),2024 年起为真实发布日;
协会该口径最早即 2020-04,无更早月报。CTA/量化代理序列(2026-10-09 新增,10-10 三期扩充): cta_scale_proxy(670 行)——关键发现: 中基协私募资管月报内含"期货和衍生品类"分项
(amac_pa_fd_scale_yiyuan 等 5 指标, 二期回溯至 201908 起,300 亿→2122 亿;月报已回溯到 2017-09,2020-03 月报协会未发,与存量 202004 段正好衔接);
期货公司资管总规模 amac_futures_am_scale_yiyuan 2015-12~2020-02 共 32 期(2160 亿 2017-09→1276 亿 2018-12;含 2016 末 2792 亿年报锚点);
中期协期货资管月报 26 期(202112~202401); 排排网 CTA 样本机构数散点(2021 起);
CTA 策略收益(二期新增): 融智管理期货指数月收益 rz_cta_index_monthly_return_pct(2018-08~2019-04)、年度 rz_cta_index_annual_return_pct(2014~2016: +34.7/+24.2/+12.4%)、产品平均口径 rz_cta_avg_*(2017-01~2019-06;排排网 2019 下半年起月报正文转 VIP,免费月度序列止于 2019-04);
海外 CTA 指数年度收益(三期新增,第十次反馈⑪): sg_cta_annual_return_pct(SG CTA 指数 2008/2015-2016/2019-2022 共 7 年,2022 +20.1%;2017/2018 未获可溯源文本源诚实留缺)、sg_trend_annual_return_pct(SG Trend 2015-2016/2022-2025)、sg_stt_annual_return_pct(SG 短期交易 2015-2016/2022)、btop50_annual_return_pct(Barclay BTOP50 2023-2025)、ttu_tf_annual_return_pct(TTU Trend Following 2023-2025)、barclay_cta_annual_return_pct(2020 +5.4%)、cmb_cta_annual_return_pct(招商私募 CTA 2018)、排排网 2026 前 7 月量化/主观 CTA 平均 YTD 两点——均为年度锚点非月度,source_url 逐行可溯;程序化交易占比官方锚点(三期新增,反馈⑧): program_trading_ashare_turnover_pct=29.0/program_trading_ashare_holdings_pct=5.0(2024-04-12 证监会发布会张望军: A股程序化交易金额占比约 29%、持股市值占流通市值约 5%,成熟市场超 50%;会员/席位级占比无公开源)、program_trading_futures_rule_event(《期货市场程序化交易管理规定(试行)》2025-06-13 公布/2025-10-09 施行,建立程序化交易报告制度,期货占比无官方披露);
量化私募规模媒体锚点 13 个(2017 期货资管 2980 亿→2026-06 量化股票多头 1.83 万亿, 口径宽窄并存见 note)。
三套口径不可直接拼接(全机构私募资管/期货经营机构资管/私募基金估计), 各行 note 已标注;招商证券量化私募分策略规模在研报站付费墙后。 |
| 会员持仓(排名/席位) | futures_inv.db::position_rankings(2010 起)。会员会因并购更名断开,长期分析先过 quant_views::meta_broker_alias(597 个原始名 → 归一名/归属集团现名/席位类型/券商系-产业系-银行系等粗分类,8 条更名链含证据列):
五矿经易(期货)→五矿期货、中证期货/中信新际→中信期货、华泰长城→华泰期货、国投安信→国投期货、中投天琪/中投期货→中金财富、海航东银→海航期货、成都倍特→倍特期货、南证期货→宁证期货。代客席位(非期货公司自营): 2024-05-27 起交易所拆分公布,字段为 broker 加"(代客)"后缀——覆盖: 郑商所 2024-05 起、大商所 2025-08 起、中金所 2026-04 起、上期所 2026-02 起(exchange 列为空,数据最早 2026-02-12)。按 alias 表 seat_type='代客' 过滤即可。 会员持仓日度变化(第十二次反馈⑧): 直接对 position_rankings 按 (trade_date, broker, contract) 取差分即得;拥挤度指标建议用前 20 会员净持仓集中度/环比。"大户持仓报告"是交易所内部监管数据(达到报告线的大户逐日报告),不对外公开,无源——公开侧最细颗粒即会员排名。 按会员类别(期货公司会员 vs 非期货公司会员)的成交/持仓(第十四次反馈⑦)——更正(第三十六次反馈续, 2026-10-17): 上期所有: 上期所每日文件含"期货公司 / 非期货公司"两类汇总行, 2012-03-01 起逐日无缺, 已按品种汇总为 futures_research::shfe_member_type_positions(2016-12-16 前为合约级求和, 之后为品种合计, 见 agg_basis 列)。原文"商品交易所无源"仅对以下三所成立: 大商所/郑商所/广期所只公布前 20 会员排名(且合约级排名有门槛,临近交割常缺),不公布按会员类别的汇总(tushare DCE 合约行里的"期货公司会员"是前 20 名之和, 不是类别汇总);只有中金所成交持仓排名页有"会员类别"汇总行(非期货公司结算会员 总成交/总持买/总持卖),但只覆盖金融期货。可用替代: ① 近月合约全市场逐日成交/持仓用 futures_inv.db::contract_market_daily(官方口径,全合约全覆盖,含交割月前 10 个交易日);② 排名里"(代客)"席位(期货公司经纪业务)与非代客席位的拆分,见上方代客说明(郑商所 2024-05 起,其余 2025-2026 起);③ 交割月自然人强平机制的品种级背景,见 client_structure_disclosures(法人/自然人占比稀疏披露)。期权 IV 期限结构(2026-10-10 新增,反馈⑨;当晚反馈③扩充口径): quant_views::iv_term_daily(从 futures_options.db::opt_greeks_full 2,140 万行派生,2018-01 起,68 品种,19.3 万行)——每 品种×日×期限桶(t01_le30d/t02_31_90d/t03_91_180d/t04_181_365d/t05_gt365d)一行。三套口径并列: atm_iv=iv_close(收盘 Black-76)按持仓量加权(向后兼容原列);atm_iv_close_vw=iv_close 按成交量加权(收盘稀薄时段噪声更小);atm_iv_settle_oiw/atm_iv_settle_vw=结算口径 iv 按持仓量/成交量加权(交易所结算波动率,适合与交易所参数联动研究;注意 SHFE/DCE/INE/GFEX 微笑被结算抹平,桶内更接近平值单点)。执行仿真取前瞻波动率用 atm_iv_close_vw,对照交易所口径用 settle 两列。期权偏度 RR/BF(2026-10-10 新增,反馈④): quant_views::iv_skew_daily(同源派生,18.2 万行/68 品种/2018-01 起)——每 品种×日×期限桶一行: rr25=iv(25Δ看涨)−iv(25Δ看跌)(度量"上行恐惧",商品看涨偏斜时 rr25>0,全表均值约 +1.8 个波动率点)、bf25=(iv_c25+iv_p25)/2−atm_iv(蝶式,微笑曲率)、atm_iv(同 iv_term_daily 的收盘 oi 加权);候选取 |delta−0.25| 最小的看涨/看跌(限 iv_close 非空且当日 vol>0、delta∈±[0.05,0.60]),桶内按持仓量加权,n_options/n_expiries 可判稀疏度。更细颗粒(逐行权价微笑)查 opt_greeks_full 原表 |
| 气候/天气 | ① futures_inv.db::oilseed_foreign_crop_weather_daily(NASA POWER 再分析 + Open-Meteo 预报):2026-10-08 起历史延长到 2000-01(NASA 最早 1981),产区 17 个: 美豆(IA/IL)、巴西(MT/PR)、阿根廷(BA/Córdoba)、加拿大菜籽(SK/AB)、新增 马来半岛/印尼廖内(棕榈)、印度马邦(糖)/古吉拉特(棉)/中印(季风)、黑龙江/吉林(玉米大豆)、西澳/新州(小麦)。表按 asof_date 存快照 + raw_sha256,天然支持"首次发布版本"检验(再分析回改会在新 asof 快照里体现);
② global_macro.duckdb::climate_index_monthly(2026-10-08 新增): ONI(Niño3.4 距平 3 个月滑动均值,1948 起)与 IOD_DMI(印度洋偶极子,1870 起),publish_date=次月15日保守端 |
| 全量数据字典(2026-10-21) | 全盘扫描无遗漏: os.walk G:/ 全量 33423 个候选 → A_public 2898 / B_local 15258 / C_archive 15267 / X_excluded 1047, 对账差集 0; 1685 个资产 / dict_tables 18471 行 / dict_columns 178849 行 (写入 data_catalog.db); 敏感列与 strategy_catalog 样例值强制为空 (自检 0)。人工说明: curated_assets 52 库级 + curated_tables 237 表 + curated_columns 415 列, 缺省走规则推断 (文案带"(规则推断)")。新端点: GET /guide 领域指南, GET /dictionary?level=assets|tables 公开, level=columns 需 token, /dictionary/html 可读页; 导出 docs/data_dictionary/ (00_INDEX + by_asset 每资产一页 + 99_RECONCILE)。构建器 audit/data_dictionary/build_data_dictionary.py, 挂周日 11:00 DataRegistryWeekly 链末步 幂等重建。 |
| 数据质量与真实覆盖报告(2026-11-05) | GET /quality 需有效token, 返回主键/勾稽/PIT/覆盖与缺口报告; 当前13项检查通过, 但明确保留all_historical_coverage_complete=false。只读快照会标注, 不冒充实时数据。每日随PipelineDigest0915串行更新, 指南见§14.24。无token返回401。 |
| 受控文件上传(2026-11-05新增) | 使用者可用现有token上传策略源码、模型、数据、文档及其他文件: POST /uploads?filename=文件名&category=strategy, 请求体为原始字节; GET /uploads查共享清单, GET /uploads/<upload_id>/download下载。单文件128MiB上限, SHA-256去重, 空文件/不完整文件/凭证类文件名拒绝。上传不执行、不加载模型、不进入生产策略; 所有有效token使用者共享上传区。网页下方有文件选择与串行上传入口, 指南见§14.23。 |
| 结构、路径与任务透明验收(2026-11-05) | 新增公开只读接口 GET /base_health: 每日由PipelineDigest0915经隐藏启动器与memguard更新, 完整披露元数据主键、资产路径、任务索引/实际动作/便携XML一致性、重复动作与最近返回码。当前资产路径无缺失, 库表键与列键无重复; QFactoryV2-BoundedResearch因Windows权限拒绝尚未改用run_hidden, 但原pythonw动作不打开控制台, 此限制未隐藏。明细本机路径 G:/futures/futures_data/audit/base_structure_latest.json。指南见§14.22。 |
| 第120–125轮反馈整改(2026-11-05) | 供给事件已建分级目录: fundamentals_forward.capacity_supply_event_catalog 截至2026-11-05 15:39共531条唯一事件 = 91条PDF正文direct证据 + 440条历史标题映射; event_id零重复。正文证据覆盖23品种、公告日跨2015–2026; 28条取得明确事件日期, 其中2条真实提前(EB提前6天、EG提前2天), 少量真实提前事件不等于长历史已完整补齐。标题映射2015起, effective_date/lead_days/is_forward保持NULL; PDF正文与标题两级不可混用。原始PDF/文本/hash在 G:/datasource/raw/capacity_supply_events/, 每日18:50任务SupplyEventEvidenceDaily1850串行处理60份最新+120份最老未处理公告、间隔1.2秒静默续跑。混合商品产能归属不确定时留NULL, PVC事后披露的2026-09-19停产日保留但不冒充提前公告。期权L1: iFinD真实bid/ask/挂单量通道已实测打通, 已并入既有L2SnapDaySession0855/L2SnapNightSession2055同一SDK会话(--with-options), 目标目录 G:/tdx_db/tick_l1_option/; 不再发起独立登录。它是前向采集而非历史回补, 正式分片/manifest/报价字段验收后才计覆盖。期权IV与基金PIT已修复: iv_term_daily=196843行、iv_skew_daily=185646行, 均到20261104且键零重复, 已并入TickSnap15minDaily2315近45日增量日更。fund_nav_pit_v当前11830883行、可用日全非空、record_key零重复; 缺公告日5098条(含非初始15条)明示并仅用下一交易日作保守边界, 不补造ann_date。2010起历史窗口仍有2077个待续跑, 不把视图可用当全史完成。网页定向验收38/38通过。 会员投机/套保分型: 不用笼统会员排名或“非期货公司”标签推断, 全品种长历史公开源仍缺。E+P10: 未收到可读取的最终杠杆后日P&L, 不用自报夏普反造收益。 |
| 第106轮反馈与E+P10规格答复(2026-10-31) | 盘中L1报价价差已新建: quant_views.main_contract_l1_spread_daily(233,340行 / 64品种 / 2011-01-04–2026-10-27),按品种×交易日×日/夜盘,使用official_t-1主力合约。对已存在15分钟桶等时加权,缺桶不补,保留桶数和帧数;字段 quoted_spread_15min_time_weighted / quoted_spread_bp_15min_time_weighted。bp为桶均价差÷桶端点中间价近似。这是L1报价价差,不是逐笔有效价差或真实冲击成本,is_true_effective_spread=FALSE;没有完整成交-报价关联的字段不伪造。随TickSnap15minDaily2315静默更新。换月标记已提供: quant_views.roll_calendar_vendor(vendor实际换月),连续因果日线的is_roll/prev_main_contract可配合使用。E+P10规格已收到: 7条收益流、年度协方差逆波动w1与trailing-60日目标10%规则已登记。现有反馈仍未含可读取的生产日收益/日P&L文件,不能用自报Sharpe反造收益序列。复算r104所需输入仍为逐日 trade_date,ret_net,ret_gross(可选目标持仓与七条流实际收益);给可下载CSV/Parquet或既有绝对路径即可。供给证据单列: futures_pit_extension.supply_side_evidence 4条(TA/PX开工率、PF库存天数、STEEL钢材大类出口),附URL/发布日/原文;不进入四腿恒等式,不冒充RB贸易、TA月产或PF吨库存。 |
| 致 cn_futures 研究项目: E+P10 复算请求(2026-10-25) | 想按同一口径复算您自报的生产组合 E+P10: 您自报 2017–2021 夏普约 2.7、2022–2026 约 2.2、最大回撤约 7%; 本地 6 个同类系统同期各自引擎测得最好约夏普 1.9(2015–2021) 与 1.2(2022–2024Q3), 差距约一倍, 想确认差在哪里。如方便请提供(越靠前越有用): ① 组合日收益 2017-01 至今三列 trade_date, ret_net, ret_gross(扣成本后/前); ② 每日目标持仓 trade_date, 合约或品种, 权重或手数(抽几个日期也可); ③ 执行与成本口径: 成交价(次日收盘?)、手续费、滑点(每边 1 跳?)、展期成本、初始资金与杠杆; ④ 品种池与参数的确定时间: 品种池规则与确定时点、F4 替换每次触发日期、哪些参数是 2022 年以后才定的。提交: POST /feedback 单条 ≤4000 字, 日收益太长可给下载链接或先给月度净收益(约 120 行)。数据只用于本地复算审计, 不对外转发; 复算结果(含对不上的地方)会写在这一行回复。 |
| 仓单来源标签兼容(2026-10-25) | 按旧 source 标签取仓单会漏品种(已加兼容视图): 10-11/12 官方化修复后,郑商所/大商所全部、上期所部分品种合计行的 source 已是交易所官方标签,按 source='wsr_detail_p107_fast_aggregate' 过滤只剩约三分之一品种(2024 年 24/70)。新视图 futures_inv.warehouse_receipt_product_daily_v(18.3 万行,每 日×品种 一行,带 source_class);或直接按 contract_id='' 取。表数据未改。详见仓单段"来源标签变更提示"。 |
| 第八十五次反馈整改(2026-10-25) | 券商观点 (日, 品种) 多空家数与分歧度: 新视图 broker_views_raw.db::views_struct_pit_daily_dispersion_v (115,631 行, 64 品种, 截至 20261023): 看多/看空/中性机构家数、分歧度 disagree_inst、conf 加权净方向、研报类型计数 (早报/日报/周报及以上/策略专题点评)。2022 年后变薄是源站发文减少 (抽查 299 条全部已入库); 2015 年前七禾网多机构早评回填进行中; 目标价/幅度无结构化来源 (无源)。 |
| fw16 实盘信号链修复(2026-10-25) | 框架逐日目标头寸 10-19 起停更已修: 任务每天 rc=0 但信号最新日恒为 20261019, 根因是 panel / factor_orders / pit_feature_price_adj_daily 三份输入无人刷新。任务链新增输入刷新 (原口径重建) 与新鲜度门 (信号未跟上 pit_feature_daily_v17 即 rc=3)。pit_feature_price_adj_daily 改为日更, 截至 20261023, 信号表截至 20261023。知数/文本库存/仓单/利润/基差列有上游历史修订, 非时点快照。 |
| 第七十八至八十四次反馈(2026-10-25, 第82-86轮成果+数据需求) | 期权逐行权价+主力/近月标记(fb81/82): 新视图 futures_options.db::opt_strike_oi_daily_v(1,083 万行 2018 起, 日×品种×标的×到期×行权价 call/put 持仓/成交/IV, 规范键 series_key=root|expiry_date|strike) 与 opt_month_flags_daily_v(expiry_rank 1=近月, oi_rank 1=主力月=当日期权总持仓最大月份, 规则标记非交易所官方); opt_daily_joined_v 底表加 trade_date 表达式索引, 单品种单月 0.07 秒、全品种整年约 53 秒(远程请按半年或品种拆分防 524)。期权会员持仓排名(fb81-84 第一优先): 新表 exchange_public.duckdb::option_holding_rank_official(3,816,285 行; 郑商所 2,310 个交易日 / 20 个品种, 2017-04-19~2026-10-23; 中金所 1,655 个交易日, 2019-12-23~2026-10-23; 两所与交易日历逐日对齐、无缺日) —— 郑商所 2017-04 起逐品种/逐合约、中金所 IO/MO/HO 逐月份的成交/持买/持卖前 20 名; 产业/机构/个人的客户类型拆分各交易所都不公布, 诚实无源; 可用代理: 会员名带「(代客)」后缀的行 = 该会员的客户席位 (中金所 2024-04-29 起、郑商所 2024-05-27 起出现) + JOIN exchange_member_background_map 取会员背景。大商所/广期所(官网 WAF)与上期所(未找到文件)未覆盖; 日更任务 OptionHoldingRankDaily1740 每日 17:40(2026-10-25 起)。现货基准(fb81): futures_inv.db::spot_benchmark_map + 视图 spot_prices_benchmark_v(33.8 万行, 每品种一条规则基准, 69 品种; 6 个 proxy 不可直接算基差)。外盘↔国内映射(fb84-4): 新表 futures_inv.db::overseas_domestic_map(279 行, 62 个外盘代码×50 个国内品种, 关系分同标的/产业链/替代/跨国/无; 单位换算系数+实测价位比 101 行全在 [0.4,3]); 注意代码撞名 PL/SI/RB/ZC/SM/BZ 外盘与国内不是同一品种, 见 code_collision 列。前视/非时点注记(fb78/80): position_rank_by_background_daily(2026-10-13 快照套全历史)与 framework_* 四张表(单次 run_id 全历史重算, 最新停在 20261019)已在 data_catalog 注记中标明, 回测勿直接用; 每日滚动时点存档需改造框架生成链, 待操作者决定。 日期列/上限(fb80): nbs_monthly date_col=period(199001~202609), wasde_cells_v 补 2010-07-09~2026-10-09; 20 万行硬上限不放开, 请按主键 keyset 分页(见 README); 530/524 请退避重试并缩小单次范围。 仍在积累/无源(诚实): 五档 L2 目前只有 2026-10-23 夜盘一段(45,035 行/37 合约), 逐日前向积累, 历史五档任何渠道都不给; 期权分钟/逐笔通达信只留近期窗口(分钟 2026-09-23 起、逐笔 2026-09-24 起), 回补到 2018 无源; 外盘分钟多年历史无源; Semantic Scholar 需使用者提供 API key。详 README「2026-10-25 第七十八至八十四次反馈整改」, 答复留痕 audit/fb78_84_feedback_20261025.md。 |
| 第七十五至七十七次反馈(2026-10-23 深夜, 第79-81轮+73-81轮总汇总) | A1 五档 L2: 有源了, 四轮重申的最大空白已破: iFinD(机构账号) THS_RQ 实测返回完整五档(bid1..5/ask1..5 价 + bidSize1..5/askSize1..5 挂单量), 上期所/能源/郑商所/广期所已开通前向采集(3-5 秒帧, 夜盘实测 522 帧 29,232 行零错误, 约 14MB/交易日, 日分片入 tdx_db/tick_l2/, 任务 L2SnapDaySession0855/L2SnapNightSession2055 每日静默运行, 停盘僵直帧已由新鲜度闸门过滤); 大商所/中金所实时无权限(-4226/-4216, 诚实标注; DCE 日线可取)。任何渠道(含付费)都不给五档历史, 自今晚起前向积累。留痕 audit/ifind_l2_channel_20261023.md。 A2 tick 批量导出已扩全史: 日分片 74 天直下载之外, 2011 年起月分片全部开放(/tick_vendor/months + /tick_vendor/mYYYYMM.parquet, HEAD 预探/Range 206 断点续传/SHA256 全项验收)——653 天需求整月拉取即可; 收盘成本派生表 tick_close_window_daily(14:50-15:00 窗口 VWAP/量/价差/零成交帧占比)已建, 74 天 63,463 行日更; HTTP 530 三重缓解(批量免在线聚合+月分片+本机降载 5GB/3线程/BelowNormal)。A3 期权: 完整期权链日度本来就有( opt_daily_raw 2,688 万行 2017 起, 逐行权价 OHLC/量/仓; IV/Greeks 用 opt_greeks_full 2018 起, 注意结算口径微笑被抹平、研究用 iv_close); 分钟级: 郑商所期权(m004) 502 万行/12 日 + 上期所期权(m006) 989 万行/15 日已入库, 日更随 06:10 任务; 期权 tick 前向采集(p6139, 主力月量前 10 合约, T+1)已上线。B1 外盘 1 分钟: CME 组(COMEX/NYMEX/CBOT)前向采集已开(us/m016-18, 服务器只留 2 自然日, 每天 06:10 必跑, 断档即丢不可回补); USDCNH 走 fx/m011 在采; ICE/LME 分钟所有可用渠道均无, 诚实无源。 C1 持仓发布时间戳: position_rankings 已加 first_seen 列(前向, 冲突保留首值); 另建 holding_release_time_daily 回溯表(官方通道 fetched_at 全历史, 1.6 万组)——初步实证当日排名约 17:10 可得, 逐日持续积累, 历史行的真实公布时刻不可回溯(诚实)。C2 研报时刻与类型: doc_meta 52,072 篇 98.8% 有分钟级发布时刻(其中 1,203 篇精确到秒), 类型标签(早报/晚报/专题/策略等)覆盖 57.5%; pub_time_basis 列区分"源站时刻"与"首见代理"。 C3 宏观 vintage: macro_vintage_log 自 2026-10-02 每晚快照首发值(幂等只追加, 历史 vintage 不可回溯); 知数修订表 zhishu_revisions 同步可查。 D1 舆情: commodity_news_raw 8,030 行/207 天: 标题+正文+分钟级发布时间+品种标签(81.7%), 历史回填中, 日更 TextLayerDaily2040。D2 文档-品种标签: product_alias_map 406 别名/90 品种(交易所代码/中文名/别名/产业链俗称); doc_product_tags 542,292 行覆盖 81.3% 研报, 多品种多标签。E1 现货面板大扩展: spot_prices_extended 69/79 品种 436,816 行(100ppi+同花顺+akshare+知数主源+港口报价 6 品种); 10 个品种(AP/BB/BC/CJ/EC/FB/LG/NR/PK/RS)三源+知数均无价格序列, 证据入册。 E2 产业价差 36 条/76,518 行(industry_spread_daily: 压榨/裂解/炼焦/合成胶/精废铝/PTA-PX/PX-石脑油/电石法PVC/纯碱-原盐-煤/尿素-煤/MDI/氨纶等; PTMEG-丁二醇止于 2021 已注)。重要更正与指路(前几轮"无源"答复有误, 致歉): 开工率/LME 库存明细/私有现货报价其实早已在基座的知数库(zhishu.duckdb, 同花顺系 69,541 序列日更)里——开工率/产能利用率导览清单 122 条(高炉 247 家 2018 周频、甲醇 2013 日频、PTA 2013 日频、纯碱、PVC 上下游、PX、轮胎全钢/半钢、乙二醇、原油炼厂、沥青、尿素、织机、屠宰、螺纹/线材钢厂开工率、电解铝产能利用率全国+17 省、氧化铝、美国炼厂等, 多数到 10-22); LME 库存 26 条(六金属总库存到 10-22 + 铝注册/注销/入出仓分区域, 注销仓单 1997 年起); 丙烷(出厂价青岛石化/CFR 冷冻货华东)、PTMEG(华东市场价+价差)、环氧丙烷、丁二烯等现货报价。标准读法经 zhishu_duck.py 按活跃目录解析, 完整清单见 audit/ifind_spot_spread_build_20261023.md §11。 F 数据质量六项: F1 140 篇失败研报文本救回 126(90%), 13 篇图片版标 scanned; F2 仓单语义实证: 0=官方发布的真实零(四案例), 缺失=无行(官方无该品种段落), 重复行已去重; F3 curve_structure_daily 两列已修复回填(carry 99.9%/曲率 95.2%); F4 maintenance_history 已清 3,239 条天气重复(11 条预警签名保留); F5 import_parity_band 的 L/PX/EG/TA 已回填真实 CFR 至 2005/2011, 其余 8 品种为循环代理按 source 列过滤; F6 HTTP 530 见 A2 三重缓解。 同日新增大资产(供检索): tushare 15k 全遍历(174 接口探测矩阵): 资金流向 1,415 万行/龙虎榜/涨跌停/两融 641 万/北向/筹码/周线 309 万/月线 73 万/财务审计意见 8.6 万/基金复权净值 312 万/转债 83 万; hithink 情绪库(涨停池 10.2 万 2020 起/龙虎榜/游资/热股/炸板/天梯/异动); 外盘合约日线 2,204 合约 1995 起(Barchart, TDX 交叉核验); 交易所公告事件表(SHFE 2000 起+INE+CZCE 2009 起); 西本社库 11 序列 2005 起; tick 15 分钟聚合全历史 2011-2026 完成(3,834 日分片 4,918 万行); 外盘/期权分钟与期权 tick 前向采集开通。答复留痕 audit/fb75_77_feedback_20261023.md。 |
| 第七十二至七十四次反馈(2026-10-23) | 交易所风控公告事件表(75轮需求1)已建成升级: futures_pit_extension.duckdb::exchange_notice_pit 6,192 行/5,729 条(SHFE 2000-10 起 4,851 行 + INE 2014-12 起 1,341 行; 此前 639 条 INE 误标 SHFE 已更正; 停更根因=列表首页缓存永不刷新+页数写死 222<253, 已改站点 JSON API 每次刷头)。新增结构化列 effective_date/contracts/adjust_direction(风控五类 2,596 行中: 生效日 541、合约 511、方向 89; SHFE 2017 年前 1,797 条无正文故 NULL); 类型含手续费/保证金涨跌停/限仓/交割, 带公告日 pub_date 与 available_date(下一交易日)。DCE/CZCE 全站瑞数 412(纯 HTTP 与无头/有头浏览器 30 分钟预算均未过, 证据留痕待浏览器方案), GFEX 2022 年才上市无 2012 缺口。留痕 audit/exchange_notice_pit_upgrade_20261023.md。合约级费率保证金(75轮需求2)其实已有, 直接用: dce_settle_params_daily(2012 起逐合约 65.1 万行, open/offset/short_open/short_offset/hedge 费率+投机套保保证金率)、czce_clear_params_daily(2015 起 49.6 万行, 含涨跌停幅度/限仓/平今费)、futures_inv::fut_settle(192.3 万行逐合约六所费率+保证金率)、futures_inv::futures_limit_margin_daily(219.3 万行逐合约涨跌停+保证金, 2010 起)。近月合约自己的费率查这四张即可; fut_fee_main_daily 只是主力汇总。社会库存(75轮需求3): 新建 xiben_social_inventory_weekly(西本新干线: 螺纹/线材/热卷/冷卷/中厚板/总量+铁矿港口/唐山钢坯/重点钢企/沪螺纹/印度矿共 11 序列, 2005-04 起周度 10,299 行, 周五 18:47 任务 XibenInventoryWeekly1847); 旧 steelx2_inventory_long 已收敛为同名兼容视图(旧日任务停用退役, 逐值一致零差异)。口径警示: 2006-03-17 监测城市扩大致 2-3.6 倍跃升, 之前不可比; 单位为推定万吨; 系西本口径非 Mysteel 132 城——后者无免费长历史(登录墙/仅近 4 周)。现货口径(75轮需求4): spot_prices_daily 83 品种 2011 起带 source 列; basis_daily 的 futures_reference_contract_id 即"基差对应的期货合约"; 规格对照写实仅 basis_spec_notes 8 品种(FU/JD/JM/WR/SA/J/LH/BU), 逐源元数据(地区/规格/含税)补齐列入排期; spot_prices_unit_map 120 行单位换算可按 source 查。到期日字段(75轮需求5): 已建视图 futures_inv::contract_daily_expiry_v = contract_market_daily_clean LEFT JOIN contract_master, 附 delivery_month/list_date/last_trade_date; 口径警示: last_trade_date 是最后交割日(tushare last_ddate), 真实最后交易日早 1-6 天(视图内别名 last_delivery_date 防误用); contract_master 覆盖 1,011 个合约, 更早行 join 为 NULL。外盘合约级日线(76轮需求1)部分可满足: tdx_db bar_daily 已有按合约日线: COMEX(us/m016, 2011 起)/NYMEX(us/m017, 1986 起)/CBOT(us/m018, 2002 起), 代码如 CL26Z/SI26Z; close 为最新价非官方结算价; overseas_daily.db 另有逐合约 10.9 万行(LME 多为 CFD)。官方结算价 2000 年起按合约无免费源(CME 历史付费且已封本机爬取 IP、ICE 免费仅上一年、LME 仅当年、SGX 60 天、CHRIS 停更——逐项证据 audit/source_feasibility_fb72_74_20261023.md); 可一次性付费买 CME DataMine 历史(最早 1972), 待决策。 生产利润覆盖(76轮需求2): profit_daily/profit_daily_pit 实为 56 品种("约 25"系 profit_proxy 19 或公式层 30 口径); 缺口: SA/V 有 cost_profit_detail 明细但缺 profit_daily 公式层, SR/UR/LC/AO/EC/SH/B/TC/ZC 仅低频明细——扩展需各品种成本公式参数源, 列入排期。 快照字段确认(76轮需求3, 已实证成文): audit/tick_semantics_verify_20261023.md——① volume=交易日累计量, 按 seq 差分即帧间量, 仅日切重置, 首帧含集合竞价量; last_price=帧内最后成交价(无成交帧不变); avg_price=turnover/volume 逐帧成立。② 夜盘归次一交易日, 夜→日盘 seq/volume 连续不重置; time_ms 是日内毫秒跨午夜回绕、郑商所有重复时间戳, 排序必须用 seq。③ 郑商所 turnover 系"累计量×取整均价"派生(用需乘 MA10/TA5/FG·SA20), 上期/大商 avg_price 为元/手含乘数(rb10/ag15/cu5/i100)。④ 78.7% 帧为零成交复制帧(主力 4-39%), 聚合前按 seq 去重; tradingday_raw 各所口径不一, 勿用于归属判断。 五档 L2(77-78轮需求1): 维持诚实无源——TDX 免费通道与外购 vendor 均只一档, 订单簿深度类研究暂不可支撑。 逐笔日度批量导出(77-78轮需求2)已建成: GET /tick_vendor/dates(可用日清单+字节数, 60s 缓存) + GET /tick_vendor/dYYYYMMDD.parquet(HEAD 预探大小, 支持 Range 206 断点续传与 ?codes= 过滤, 文件名白名单防穿越); 整文件 SHA256 与 16MB×9 分块拼接校验一致, 服务已重启实测 200。当前可直接下载 74 天(20260701–20261021, 单日约 120MB); 更早历史在月分片(单月 2-4GB), 需要可再开放。HTTP 530 主因=服务端逐日重聚合(18-75s/天)+本机资源紧张: 批量端点免去在线聚合, 本机侧回填任务已降为 5GB 内存/3 线程/BelowNormal 优先级。外盘 1 分钟(77-78轮需求3): 存量为零, 多年免费分钟历史不存在(Dukascopy 仅 CFD 代理无到期结构; CME/Barchart/Portara 付费); 可选: 经 TDX 服务器前向积累 COMEX/NYMEX/CBOT 分钟(每日新增负载, 待决策)。 持仓排名发布时间戳(77-78轮需求4): position_rankings 已加 first_seen 列(首插时刻, 冲突 COALESCE 保留旧值, updated_at 语义不变); 诚实声明: 历史行 first_seen 为 NULL 不可回溯(旧 updated_at 每次重跑被覆盖), 公布→入库时滞研究只用 2026-10-23 之后的行; first_seen 是入库时刻上界, 交易所真实公布时刻(约 16:30-17:00)本身不可得。期权逐笔(77-78轮需求5): 无 tick 存量; 期权日线 2,688 万行(2017 起)+Greeks(2018 起)+PCR/skew 充足, 分钟级仅 DCE/GFEX 近一月; 期权 tick 前向采集列入评估。 数据质量三项(77-78轮第三节)已处置: ① curve_structure_daily 的 annualized_carry/term_curvature 全空——日常写入器只写 7 列所致, 已补写 11 列并回填(carry 99.9%、curvature 95.2%; 271 行 L/PP/V 因 DCE F 后缀污染留空已登记; 口径: term_slope=M1→M5, calendar_spread_pct=M1→M2); ② maintenance_history 68% ALL——3,251 行实为 11 条全国天气预警的 3,239 行重复, raw_text 全空无企业名, 可映射 0%, 去重与否待裁决; ③ import_parity_band 起点 2025 是代码窗口截断非源限制——L/PX/EG/TA 已回填真实 CFR 至 2005/2011(每品种 1.3-1.9 万行), 其余 8 品种确无日频 CFR 源, 现有为循环代理(按 source 列过滤, 勿跨 2025 边界混用)。留痕 audit/fb74_dataquality_fix_20261023.md。 15 分钟快照全历史回填已完成: tdx_db/tick_snap_15min 3,834 个日分片 2011-01-04→2026-10-21、4,918 万行, manifest 全量核对 ok(含 1,320 孤儿补登); 逐月进程隔离+降载(5GB/3线程/BelowNormal)后 62 个月零失败。答复留痕 audit/fb72_74_feedback_20261023.md。 |
| 第六十五至七十一次反馈(2026-10-22 晚) | 文本 'nan' 已修: futures_inv.macro_indicators 8,512 行文本 'nan'→NULL(写库脚本+db_manager 双守卫防复发, 备份 macro_indicators_bak_20261022_fb66, git 824b8b6), unified 聚合不再报类型错误; 宏观重复序列已注主表(M1 同比主表=pboc_monthly, em_macro_currency_supply 为镜像; 宏观月度表用 publish_date 派生列, 依据存 publish_basis)。 external_overnight_daily 31 行 |ext_ret|>0.3 已补丁: 根因=日历表起自 20100104, 更早日的美股 session 被累计映射; build_wp3.py 已修, 22:00 PitExt 重建后预期 31→16 行(残余为真实大波动), 核验 SQL 见 audit/fb65_71_quickfix_20261022.md。 dce_settle_params_daily 的 short_open_fee/short_offset_fee 已核实=短线(当日开平): 大商所原始结算参数 JSON 字段+采集脚本注释双证, 字典已注"short=短线(当日开平), 非空头"; 第 71 次更正称系使用者推测——平台侧已独立核实, 该解读成立。 字典注记包 14 表 13 列已生效: tick 夜盘自然日口径、郑商所 2012-13 新旧码并存、合约代码大小写差异、calendar_spread_daily.trade_date=VARCHAR 'YYYYMMDD'、fact_suspect 取值(price_as_nonprice 等)、open_auction 竞价价≈开盘价(相关 0.9998 属正常)、same_freq 的 obs_date=期间日非月初发布日、vendor_paid_mirror 为冻结快照等。 知数 available_date 已交付(第 68/70/72 轮三次重申, 最高频需求): zhishu.duckdb::zhishu_release_lag_est 69,541 条序列——实测发布滞后 5.0% / 同频锚定 34.0% / 规则兜底 61.0%(兜底取 max(原规则, 同频实测中位数) 防前视), 交叉校验 92.4% 一致; 每晚 23:20 任务 ZhishuLagEstDaily2320 幂等重建; 构建器 audit/fb68/build_zhishu_release_lag.py(git ef9b664)。快照聚合物化进行中(第 73 轮需求 1): tdx_db/tick_snap_15min/ 实体表全历史回填中(2011-01 起, 逐日幂等, 量额逐合约零误差对账), 列含首末中间价/spread mean·max·p95/队列不平衡 mean·last/主动买卖量/vol·turnover 差分/oi_last/vwap; 平均深度、Cont-Kukanov-Stoikov OFI、大单拆分、oi_delta 按主动方向列入下一版; 日更 TickSnap15minDaily2315。中金所日内特征已实测可行并排期: vendor tick 日分片实测含 IF/IH/IC/IM/T/TF/TS/TL 共 28 个合约, intraday_vendor_daily 的 CFFEX 扩展开发中; m030 无中金所合约为上游源限制。 平今费(重申项): 见上一条反馈行——close_today_*_filled 四列已补: 中金所 9%→99.7%、上期所 0→84.9%、能源 0→25.2%(Wind 回填, filled_source 可辨), 大商所 100%/郑商所 84.8% 原有; 广期所仍无源(Wind 无 GFEX、官方逐日参数采集器未建), 早年 SHFE/INE 缺口需逐份爬交易所历史公告, 排期。 诚实无源(核实后不编造): 五档 L2 快照; 逐笔成交主动方向(现有主动买卖量系快照累计量差分估计); 集合竞价未成交量(open_auction_daily 有竞价价与竞价量); 交易所标准套利合约 K 线历史(vendor tick 0 条套利码; TDX 扩展行情仅 GFEX 41 个 SP 码实时报价无历史; DCE/CZCE/SHFE 无); 外盘期货分钟级长历史; 会员排名 20 名以外名次(故"未上榜≠持仓 0", 字典将加风险提示); 钢联/SMM/隆众周度发布前调查预期(收费终端); 期货公司散户加收标准(不公示)。 排期中: 会员背景按持仓量序补 top-50(776 个 unknown 多为长尾小席位与聚合占位, 不猜)、zhishu_product_map 扩展候选清单(约 1.3 万条在更序列, 规则+词表)、calendar_spread 加"两腿活跃"标志列、tick 快照统一合约键(品种+四位年月)、GDELT 2019-21 覆盖回补与 weather HDD/CDD 非农扩展与新闻联播 2019 后续爬评估、ashare_supplement 写锁期只读快照; 大结果下载建议分页/重试(分块编码下超大单响应易受网络抖动影响)。 答复留痕 audit/fb65_71_feedback_20261022.md。 |
| 第五十八至六十四次反馈(2026-10-22) | 1 分钟主连已修复并建联合视图: 2026-10-14 每分钟双份已去重(28,305 行,重复分片退役+manifest 撤行);缺日 2026-09-24(卖家包夜盘首小时缺陷被质检拒入)/10-15/10-21(未分享)已用通达信逐合约按 l8 指纹补齐;新视图 quant_views::v_bar_1min__cn_futures_main = vendor ∪ tdxfill(ANTI JOIN 不双计,补缺日 source='tdx'),前向检验请改用它;残余: 中金所 8 品种+13 个郑商所旧码 TDX 无 1 分钟源;入库脚本已加"重名副本跳过"防复发。平今费: fut_fee_main_daily 新增 close_today_ratio_filled / close_today_per_lot_filled / est_close_today_fee_yuan_filled / close_today_filled_source 四列(原列不动),平今覆盖 123,071→189,169 行: 中金所 9%→99.7%、上期所 0→84.9%、能源 0→25.2%(Wind 回填),大商所 100%/郑商所 84.8% 原有;广期所仍无源(已注记)。利润公式: 46 个手动公式脚本已挂入每晚 23:40 任务自动跑;65 式中 37 式新鲜(≥2026-10-15),SP/I_PORT/A_CRUSH 系上游知数自身滞后随日更跟进,24 式真死源(FINV×10+P_IMPORT 等,如实标注不复活)——替代: 周度 profit_public_weekly(活至 10-20)、vendor_spread_replica 复制价差。tick 15 分钟预聚合(新): 数据集 tdx_db/tick_snap_15min/ + 视图 quant_views::v_tick_snap_15min__cn_futures__vendor(合约×15分钟: 价差 mean/max/p95、失衡、主动买卖量、vwap、oi;跨零点夜盘帧落 00:00–02:45 桶);单日 5 秒、量额逐合约零误差对账;日更 TickSnap15minDaily2315(23:15),2011-01 起全历史回填中(已产出日期即可查)。贵金属链复活: GFEX 反爬新形态(JSON 明细置零)判定为降级并回退数据底座 wsr_pt_pd_total_v;全链 5 阶段 PASS、质量门 0 失败,precious_forecast_snapshot_v4/precious_driver_score_v3 as_of 09-26→2026-10-22。目录与字典: 前瞻列标记 dict_forward_defined 480 行(fwd_*/y_*/label*/target_up 等,挖掘一键排除;分析师目标价系标 soft);dict_tables/dict_columns 新增 date_format 逐列标注(YYYYMMDD 9,518 表 / YYYY-MM-DD 629 / 日期时间 310,双端复核标出 47 张 mixed: 表),/dictionary 已带出;/dbs 加 dialect 字段+unified 推荐、/dictionary 列加 type 镜像、/tables/status 500 修复——此三项已生效(11:47 重启后实测 /tables/status=200、/=200);db_catalog 补登 7 个新库(10-21 一次性整理库已定性注记)。答复 audit/fb58_63_feedback_20261022.md 与 audit/fb64_feedback_20261022.md。 |
| 第五十七/五十八次反馈(2026-10-21) | LLM unclear 断层根因坐实: 2022–2026 的 unclear 几乎全部来自 7hcn 离题网页样板文档 (占 unclear 86–95%), nanhua 两提供方下全时期正常 — 是候选选取缺陷不是抽取退化。确定性规则回填 views_llm_struct_docs 新列 relevance/alias_hits/body_clean_chars: on_topic 2,412 / off_topic 2,717 (7hcn 97% off_topic), 检验请用 relevance='on_topic' 过滤。7hcn 样板剥离规则入 strip_fb57.py; 2a 候选已改仅 on_topic。phase 2b 多品种抽取进行中: 候选 21,149 篇 (ns≥2 且剥样板≥1,500字且别名命中≥2), prompt_version=v3_multi; 如实: 跑 120 篇 (~85万 token) 后三提供方额度全部耗尽 (deepseek 402 余额空/智谱 429/GLM Coding 日额度), 已落库 17 篇; 续跑任务 Fb57Llm2bResume 每日 14:50 幂等重启, deepseek 需所有者充值。 驱动字段解析: views_llm_struct_drivers 17,786 行新增 9 列 (as_of 归一/粒度 + cited_value 数值/单位/方向, 51 例测试过): cited_value parsed 7,063 (39.7%), as_of parsed 5,669 + relative 2,470。会员背景: exchange_member_background_map 1,194 行, top-300 持仓窗口具名会员 100% 已分类 (bank_securities 249 / industrial 98 / independent 59 / foreign 12), 残余为长尾与聚合占位不猜; 新表 exchange_member_alias_history 26 行更名沿革全带证据。目录生命周期: data_catalog 新列 lifecycle/lifecycle_note/current_version_of → current 1,654 / superseded 17 / quarantine 46 / backup 9 / retired 2; 新端点 GET /catalog 默认仅 current, ?all=1 全量; 206 个 view 行数全实测 (不再写 −1)。LME 仓单: 新表 global_macro.duckdb::lme_warrants_daily 16,266 行 (6 金属, 2014-07-02~2026-07-17, on_warrant/cancelled/total); 源已停更无前向源, 15 行源自相矛盾标 qc_flag 不改值。交易所套利合约: DCE WAF 412、CZCE 候选文件 404、tushare/akshare 无 → 不可得未建表。 前向检验五类 SLA: forward_sla_registry 10 行 + forward_update_log (FundamentalDaily1730 日链末步每日追加); /freshness 新组 "前向检验:<表>" 9 sla_ok + fut_daily missing。修复: 全球库存新鲜度 trade_date→obs_date 已改; usda_psd_vintage_revisions 空为预期已注记; profit/basis 停更与 zhishu 会话维持待处置。答复 audit/fb57_58_feedback_20261021.md, 日志 audit/fb57_58/remediation_log.md。 |
| 第五十六/五十七次反馈(2026-10-21) | A0 LLM 抽取完成: views_llm_struct_docs phase1+phase2a 共 5,112/5,112 ok (glm_coding 665 + deepseek 4,447, ~16.9M tok), views_llm_struct_drivers 17,710 行 / _raw 5,112 行; 混合提供方以 model/provider 列为准, LLM 抽取未经人工复核, 回测按 available_date。A1 目录行数: docs_text approx_rows 21,866→52,059 已重扫; 17:20 broker_views 任务末步自此自动重扫两库。 A2 利润/基差停更(降级注记): profit_public_weekly/basis_daily_ext/spot_prices_daily/cost_profit_series 多序列停 2026-06-09, table_status_notes 已写 stale_class+原因; 注意 cost_profit_series 为 market_daily 公式代理, 不是路线级直接工业利润。A3 库存吨归一(复核): exchange_inventory_global_daily.value_tonnes 已统一吨 (短吨×0.9072/金衡盎司×31.1e-6/磅×0.4536e-3, 未知 NULL), 94,369 行全填充, COMEX/LME 同日量级一致。A4 产能公告品种映射: capacity_announcements_cninfo +product_map_method; product_ids 覆盖 7.2%→13.0% (kept 口径; 别名标题命中+行业唯一映射, 不猜), 每日幂等。A5 知数会话: zhishu_obs SESSION_EXPIRED (2026-10-20 21:15), 需所有者浏览器重登。 A6 子板块 PIT: subsector_fundamental_daily/subsector_position_daily available_date 即成员最大可得日, 复核无改写。A7 修订留痕(新): global_macro.duckdb 新表 usda_psd_vintage_revisions (新 PSD release 入库时与上期同键比对留痕) 与 nbs_monthly_revisions (NbsMonthlyDaily0900 每次比对); 历史 vintage 不可得, 无法回填, 自今日起记录。A8 会员背景表(新): exchange_public.duckdb::exchange_member_background_map 1,194 行, 全史 top20 持仓占比口径已分类 88.9% (bank_securities 70.1%/industrial 11.5%/independent 5.5%/foreign 1.8%), 残余以通用占位为主不猜。fw26 研究(不采纳): 头部席位 NLR {产品/子板块/4类背景}×{水平,Δ20d}=12 因子按 PREREG 全测: 0 过协议 (NLR_p MID/HOLD 复现使用者方向但 DEV 反号; 残差 t 全 <2.5); 背景标签安慰剂 200 次显示分类带真实信息但未转化为过协议因子; 无入分, 生产 v2.9b+J1 与 fw25 采纳配置均未动。报告 audit/fw26/fw26_report.md, 答复 audit/fb56_feedback_20261021.md。 |
| 第四十一至五十五次反馈(2026-10-20) | 生产修复 RT1-RT7: ① FG/SA 仓单 wsr_detail 双族写入——p2256 已停止写 wsr_detail(WRITE_WSR_DETAIL=False, totals 不变), 20260723-20261019 的 "编号|仓库" 双族行 1,943 行移入 wsr_detail_quarantine(rule R8_P2256_DUPFAMILY; 4 个仅编号格 FG 20260811-0814 是唯一数据未动); fix_wsr_detail_czce_official.py 写入前同事务隔离同格 "|" 族行(R9_OFFICIAL_SUPERSEDES); 改写留痕新表 futures_inv::history_rewrite_log。② 隔离放行补丁已应用: 隔离 300 格, 已裁决放行 15, SA 07-24..08-14 仍掩码; 今晚定时链验证。③ fetch_tushare_contract_market_daily 早 08:43 对当日 fut_daily 空响应改为 [skip](16:30 数据截点前不判失败); 16:30 后仍 rc=2。④ FundamentalDaily1730/ChainGroup 的 wsr_gate 断言已由 ② 修复; AutoSystem rc=2 是 warn 语义(50万 L2.90→L2.85 硬闸生效), wind_basis SKIP_NO_WIND 为预期; PipelineDigest rc=体检严重度; 保证金 ValueError 已修(GTJA tradeflag=N 页转为 ok/0 行, 7 个假日恢复; 20260724/0805/0924 为真交易日上游确无表, 保留 fail)。⑤ auto_heal 跳 Windows 保留名(NUL/CON 等); 根目录 "nul" 文件(94B, schtasks 重定向事故)已改名 nul_renamed_20261020。⑦ 订单流修复于 2026-10-15 (fb26 A1): build_orderflow_tdx.py 方向列 sign 修正后重建 2026-07~10, 现表 signed_imb 均值 -0.020, 此前 +0.98 为修复前数字。期权/事件/日历 PIT: futures_options.db 新视图 opt_greeks_full_norm_v(ZCE 3 位代码归一)+ opt_daily_joined_v(greeks LEFT JOIN 日线, 2021/2022-06 上旬未匹配 13504 与 10744 行 → 0); 注意: opt_greeks_full 无到期日行(daily_raw 有 208,906 行), 结算价 IV 对同一到期日近似单一波动率(2024 样本 25-delta C/P |ΔIV|<0.002 占 77.2%), 不要用它算偏度/风险逆转; 无盘口数据, 真实成本不可核实; 判断与成交用同一价会把买卖价差反弹记为利润。fact_supply_disruption_events_pit(26,960 行) 加 available_date + backfilled_flag(回填 25,182 / 准实时 1,778)。quant_views.duckdb::contract_ltd_rule_v(9,913 行) 修正未到期合约 last_trade_date=数据最新观测日的问题: CZCE/DCE/GFEX=交割月第 10 交易日, SHFE/INE=15 日顺延, CFFEX IF/IH/IC/IM=第 3 周五, TF/T/TS/TL=第 2 周五; ltd_source=observed/rule; 交割月超 20270217 日历覆盖的 528 个月为 ltd_basis=weekday_proxy(周一~五近似, 无假日知识)。新表: futures_research::model_report_history(4 张模型产出表每日内容哈希存档, GlobalExtrasDaily2120 末步, 幂等); futures_research::commodity_etf_daily(9 只商品/黄金 ETF 2019 起 15,688 行, scale_est=shares*nav, FundSupplementDaily1940); futures_inv::wsr_pt_pd_daily_v / wsr_pt_pd_total_v(GFEX 铂钯仓单视图; Codex 贵金属端已打非 JSON 回退补丁)。LLM 研报结构化抽取(已暂停): broker_views_raw::views_llm_struct_docs/_drivers/_raw — 候选 1,516 篇(2022 前 628), glm-4.5 + prompt fb41_v1; 首跑 240 篇后 GLM 周额度耗尽(HTTP 429 err 1310, 2026-10-22 14:17 重置)按失败率规则停止; 所有者 2026-10-22 裁定停用 deepseek/glm 外部 LLM: 一次性任务 Fb41LlmReportStruct_Rerun20261022(原定于 14:40 续跑)已删除、每日任务 Fb57Llm2bResume(14:50)已禁用(XML 备份在 G:/_tasks/backup_20261022_llm_tasks/), 后续抽取改由 Kimi 会话承担, 已完成的 240 篇中间结果保留在三表可用; LLM 抽取为篇级语义、未经人工复核, 回测请按 available_date。无免费源(第 41-55 轮逐项核实): 期货公司手续费/保证金加收标准(各公司自定不公示)、钢联/SMM/隆众周度预期值(收费终端)、USDA 报告前分析师调查(付费媒体)、期权买卖一档(无 L2 源)、合约乘数/最小变动历次调整(交易所公告非结构化)、东方财富研报正文(页面可见 PDF 链接但直接 GET 返回 JS 挑战, 未做绕过)。已有源: EIA 报告前一致预期 3,074 行、按客户类型持仓 87,430 行、WASDE/CASDE/usda_psd_alldata 平衡表、宏观 vintage 318k+ 行、开工率 62k 行/33 品种、profit_daily_pit 135k 行/56 品种、wind_fut_fee 140,999 行(2010 起, 43 品种, 含手续费与保证金字段); spot_prices_daily 无地区/市场列(全国均价口径)。停用标记(已解除): precious_metals_research::precious_forecast_snapshot_v4 曾标 stale_since=2026-09-26(GFEX 端点反爬);已于 2026-10-22 复活(降级 JSON 判定 + 数据底座回退源),快照 as_of=2026-10-22,见上方"第五十八至六十四次反馈"行。 |
| fw25 小资金整手结构改进(2026-10-21) | 预注册 audit/fw25/PREREG.md: 600 组合 (C{1M,3M} x 可投阈 alpha{0.05,0.10,0.20} x 配置法{topK8/20 等权, 线性秩最大余数整手 M1, 逆ATR M2, MILP 跟踪 M3} x 杠杆{L1/1.5/2, 波动目标 0.10/0.15} x HMM{none,half} x 分批{T0 月初, T1 双半本}), 信号与成本/保证金口径照 fw23=v2.9b 未改, 选择只用 DEV。结果表 futures_research.framework_fw25_lot_grid(600 行), 报告 audit/fw25/fw25_report.md。判定: 4 个前沿点中 1M/-20% 点采纳 (alpha0.20/M1/L2.0/none/T1: DEV cagr 17.8% sh1.58 mdd -16.6% -> MID sh 1.21 >= fw23 0.95+0.10, HOLD sh 1.13>0); 1M/-15% 与 3M 两点因 MID Sharpe 不足拒绝 (3M DEV 最优为 m0k8, MID sh 仅 0.60, 判为 DEV 过拟合)。边际效应: M1/M3 线性秩整手配置稳定优于 topK 等权 (MID sh 1.06 vs 0.58~0.82); T1 双半本改善 MID/HOLD 与回撤 (MID sh 1.02 vs 0.79, ALL mdd -9% vs -14%); alpha 更小、波动目标、HMM-half 无样本外增益; M2 逆波动变差。落地: 新表 framework_live_lots_daily_fw25(每日目标手数, variant S20_1M 采纳 + L1_1M 无杠杆参考, T 日信号 T+1 收盘成交 T+2 生效) 与 framework_forward_record_fw25(2026-10-21 起真前向, reconstructed=0); 加入 FrameworkLiveSignalsDaily / FrameworkMonthlyRevalidation (月度只重估 6 配置+近 12 月 Sharpe 回退检查)。未过: H6 趋势资金流因子 IC -0.005/NW-t -1.02 未过协议, sleeve DEV Sharpe -1.3, 不入组; 无杠杆 ALL CAGR 8.1% 距 30% 目标差 21.9pp (需 Sharpe≈5.5)。生产 v2.9b+J1 与 fw16 fractional 信号未动。 |
| fw27 auto_v11e 借鉴与融合(2026-10-26) | 第 fw27 轮 (2026-10-26) auto_v11e 借鉴与融合: 在 auto_v11e 自己的审计整手账本上 (300 万, L2.80), auto_v11e 与 fw v2.9b 基本面 sleeve 等风险合成 (A2) 的全样本 Sharpe 1.63→2.01 (配对区块自助 95% 区间 [0.11, 0.70]; shuffled-F 安慰剂无一超过), 但样本外未分辨: 2019 起 ΔSharpe +0.14 [−0.24, +0.54], 2022 起 +0.11 [−0.27, +0.52], 增益主要来自 F 的选择期 2011–18 (+0.65)。按预注册判据不算更强: 固定杠杆回撤 22.7% (超 19.7%+1pp), 2022 重新开户 Calmar 1.11<1.22。两线在 2023-12→2024-10 同时回撤 (都净空有色、同持 RU/NR, 约占两腿该窗理论亏损 80%)。同毛名义下年化不增 (32.7% vs 33.0%, 回撤 18.6% vs 19.7%), 毛名义≤权益时 auto_v11e 年化更高。生产不变; V/A2/A3 自 2026-10-26 起真前向观察 (framework_forward_record_fw27 / framework_forward_weights_fw27), 前向 F 取生产版 (文本主题每晚重算, 与回测所用 10-19 冻结快照有口径差, 见 audit/fw27/deviations.md)。报告 audit/fw27/fw27_report.md, 预注册 audit/fw27/PREREG.md。 |
| fw28 在 auto_v11e 基础上提升(2026-10-26) | 第 fw28 轮 (2026-10-26) 在 auto_v11e 基础上提升: 预注册 8 个有证据支撑的改动 (主力-次月年化 carry、持仓加权 carry、跨板块逆波动、去 skew_60、合成 12-1 截面动量、合成 12 月时序动量、HMM 高波减半、三层组合), 在 auto_v11e 自己的整手账本上无一可证实提升 (Bonferroni 下界全部 <0); 主力-次月 carry、持仓加权 carry 与组合显著更差 (ΔSharpe −0.48 / −0.31 / −0.64), 其余点估计 ≤ +0.002、区间含小幅正值。独立核对: V 现用的最近两张合约 120 日平滑价差截面 IC 0.101/0.089/0.087 (2011–18/2019–25/2022+), 高于主力-次月 0.061/0.041/0.048; 12-1 截面动量单独 Sharpe 0.56 (2022 起 0.34)。auto_v11e 维持原样。报告 audit/fw28/fw28_report.md, 预注册 audit/fw28/PREREG.md。 |
| fw29 超大规模因子挖掘(2026-10-28) | 第 fw29 轮: 从数据基座抽取 257 个候选序列, 对 auto_v11e 的 SIG 与六分量残差化后, 按 7 种变换 × 20/60 日期限做截面 IC, 用 4 万个安慰剂 (时间平移、全截面置换、板块内置换) 校准, 序列级加权 BY 选择 → 确认 → 留出。首轮"幸存"62 行全部是 norm_tradable_main_roll 的未来收益标签列 (t≈50), 属候选规则漏洞 (R2.15 已排除并按原种子补足安慰剂重算)。清理后主族 205 条序列、2,870 个检验无一通过 (最强 CFTC 商业净持仓, 序列 Simes p 0.06); 晚起族 60 日安慰剂尾部过厚按协议中止, 20 日探索性同样 0 通过; 8 条近失线索在未参与选择的确认/留出段 0/8 确认、多条反号。报告 audit/fw29/fw29_p3_report.md。 |
| fw30 auto_v11e 卡点与解法(2026-10-27) | 第 fw30 轮: 诊断 V 的根因 (同一信息饱和、有效样本约 31 个、独立下注约 11 个、2022 后板块择时与现期价差/仓单转弱、参数选择偏差、小资金整手、2024 同窗同损), 施用板块净敞口收缩、期限结构×动量门控、81 组参数邻域装袋、ΣΔ 整手四个解法, 均未通过预注册判据 (装袋与 V 不可区分; ΣΔ 的宽带宽因规则缺陷未测到)。报告 audit/fw30/fw30_report.md, 根因 audit/fw30/ROOT_CAUSES.md。 |
| fw31 红队 V 与融合风险匹配(2026-10-28) | 第 fw31 轮: GLM/Kimi/lead 三方红队卡点 (功效不足、弱分量稀释与组成漂移、板块择时不稳、整手、信息天花板)。分量方向共识缩放 ΔSharpe −0.06、carry 锚定 50% −0.14 (2022 后 +0.22) 均未过; V⊕基本面 sleeve 逐日匹配 V 风险 (R3b, 规格修正、非盲) ΔSharpe +0.40 [0.11, 0.70], 同回撤年化 37.6% vs 34.3%, 仅 2022 重新开户 Calmar 1.20 < 1.27 未过。执行再延迟 0–5 日理论 Sharpe 1.59–1.65, 信号层面无衰减。报告 audit/fw31/fw31_report.md。 |
| fw32 未用数据遍历(2026-10-28) | 第 fw32 轮: 数据字典 19,326 张表中范围内 4,503 张, fw29 实检 46 张; 未用部分多为行情重复视图、A 股、研究衍生与备份。可截面检验的新信息 (券商观点共识/分歧 views_struct_pit_daily_dispersion_v、交易所风控参数) 11 条序列、1 万安慰剂: 最大 |t| 2.92, 序列 Simes p ≥ 0.74, 无增量。券商共识方向 60 日三段同号为正的探索性观察已改为前向假设 H1 (2027-10-29 首次判定)。报告 audit/fw32/fw32_report.md。 |
| fw33 股票隐含预期(2026-10-28) | 第 fw33 轮: 26 个品种映射到申万上游生产者行业指数 (只用实时序列, 2021 版回填剔除), 60 日"股票超额 − 期货"背离作为 V 的第 7 分量。ΔSharpe +0.060 [−0.076, +0.197], 胜过 19/20 安慰剂与收缩对照, 但 2011–18 段 −0.03、同回撤年化 31.4% vs 34.3%、2022 重新开户 Calmar 1.21 < 1.27, 不采纳; 同样本上残差化去掉一半到三分之二预测力。结果前后均经 GLM 红队。报告 audit/fw33/fw33_report.md。 |
| 第三十七至四十次反馈(2026-10-17/18) | 第三十七次 R2 占位日期(已修): spot_basis_daily_pit / profit_daily_pit 最新一个交易日的 available_date 为 99999999——"下一交易日"超出 bigmove 交易日列表; bml/ext/common_ext.py 改为回落到 calendar_master(SHFE) 已排定的未来交易日(测试 tests/test_ext_calendar_fb37.py), 两表已重建, 20261016 行 = 20261019。R3 产业事件: fundamentals_forward::capacity_announcements_cninfo(巨潮公告标题检索: 停产/检修/复产/投产/关停/产能置换…, 2015 起)原为一次性回填(止于 2026-03-22), 现每晚 21:20 增量(14 天回看, GlobalExtrasDaily2120 R20), 已补到 2026-10-14, 共 4,398 行; drop_reason 新增 no_event_token 502 行(证券简称如"五洋停车""电投产融"、停车场、"恢复买卖"等误命中)。有品种映射的事件看视图 capacity_events_cninfo_v(262 行), 发布时刻 pub_datetime_best = PDF Last-Modified(落在公告日 -1~0 天, 152 行)否则只有日期; /freshness 已改为跟踪此表。港口到货(AIS)无免费源、隆众/钢联装置检修收费, 均未做。R1 全会员 / 按客户类型持仓: 无源(交易所只公布前 20 名); 近似可用 shfe_member_type_positions(上期所期货公司会员 / 非期货公司会员两类)。第三十八次 R1 实盘大赛: futures_research 新表 qhrb_contest_rank_snapshot / qhrb_contest_player_stats / qhrb_contest_daily_pnl / qhrb_contest_pnl_distribution(期货日报全国期货(期权)实盘大赛公开接口; 2024–2026 三个赛季, 2023 及更早接口 404): 赛季末 4 组全量(如 2026 轻量 159,751 / 重量 6,888 / 高净值 1,800 / 量化 1,561 户)+ 3–8 月月末快照(轻量组只取前 1,000), 共 666,634 行; 各组赛季末前 100 名账户统计 1,198 个与逐日净利润 138,889 行; 赛季末净利润 > 0 的占比: 轻量组 19–21%, 重量组 38–50%, 高净值组 42–63%, 量化组 42–55%(净利润为 0 的多为未交易账户, 计入分母), 不存昵称; 参赛者自愿报名, 有自选与幸存偏差, 不是全市场样本。交易所 / 中期协按账户规模的盈亏分布: 无公开源。R2 套保 / 投机分类持仓: 无系统性公开源(只有零星公告)。R3 保证金与涨跌停历史: 已有 futures_research::exchange_risk_params_daily(品种 × 交易日, 2010 起) + exchange_risk_control_events, 以及 fundamentals_supply_demand::exchange_risk_notices; 强平规则无按日历史, 未结构化。第三十九次 R1 2015–2021 其他机构观点: 七禾网历史回填 10-18 14:07 完成(进度表 broker_views_raw::backfill_7hcn_progress): cat 52 新增 20,221 篇(回到 2014-12-15), cat 8 新增 9,755 篇(2017 年前很稀疏), 取正文失败 1 篇(404); 已并入 views_struct / view_arguments / views_doc_meta / views_struct_pit。七禾网 cat8+cat52 每年出现的机构数: 2015 年 45 家、2016 年 52、2017 年 75、2018 年 89、2019 年 85、2020 年 94、2021 年 95(此前 2015–2021 只有南华一家)。R2 机构清洗: 新表 views_doc_meta(每篇 1 行; 冻结解析器, 机构登记表 = 正文"来源:"闭集; institution_v1 / inst_method / inst_v1_status 对照旧值; 33 篇旧噪声标签已更正, 1,144 篇无法归属留空)。七禾网正文来源归属: 10-18 由 Claude 代替人工做跨模型抽检(不是人工抽检), cat8 新样本 99/100 通过, 2022-05-23 起 3,357 篇标 inst_gate = passed_g1b_20261018; 回填旧文(2022-05-23 前)另抽 100/100 通过, 4,955 篇标 passed_g1c_20261018(2009–2016 的 123 篇没抽到, 只经机械普查); cat56 公司新闻(41/45 未过)、7 篇期货子公司转载同集团证券研究所的文章、3 篇媒体名、3 篇来源字段与机构不一致仍为 pending_manual_sampling(结果 audit/fb37_40/g1_results_20261018.md); 另有 5 篇南华文档被正文"来源:"规则标为其他机构。R3 分析师署名: views_doc_analysts(正文执业证号 F/Z + 姓名猜测, 10,505 行) + views_analyst_registry(97 个证号, 众数姓名与占比、篇数、首末发文日); 带证号的文档几乎只有南华一家; 新表 views_author_spells(七禾网署名 × 机构起止日期与篇数, 1,494 人, 182 人在 2 家及以上机构名下发过文, 多为跳槽; 同名不同人无法区分, 两段时间重叠的不一定是跳槽)。中期协从业人员公示页: 所有者同意抓取, 但本机安全策略以涉及个人信息为由拒绝下载, 未做。研究所准确度公开排名: 无源(只有评选奖项)。第四十次 R1 准时与延迟: /freshness 新增 7 项"核心日度:*"(合约日线、主力映射、现货、基差、库存(品种日度)、交易所库存、仓单), 每项给 expected_date / lag_trading_days / delay_status / typical_arrival(近 10 期首次写入时刻中位数) / ready_rule。到库规则是实测时刻加余量, 不是源站承诺。R2 发布时刻: views_doc_meta(raw 49,882 篇 / em 1,519 篇)给 publish_ts(南华 news_list.create_time、七禾正文时间头; 东财只有日期)、session_bucket / after_close / available_date(15:00 前且为交易日 = 当日, 否则下一交易日; 只有日期 = 下一交易日); views_struct_pit(raw 482,188 行 / em 5,888 行)回测请按 available_date 取用。futures_research::publish_availability_calendar(日历日 → 可用交易日, 2005–2027-02)供任意带发布日期的表 join。data_catalog::text_event_time_precision: 41 张文本 / 事件表中分钟级 6 张, 只有日期 33 张, 无发布时间 2 张; 只有日期的表源站不给时分, 请用 avail_after_close。R3 修订版本: data_catalog::vintage_registry(43 个会修订的数据集及其版本保存方式); global_macro::macro_vintage_log 自 2026-10-18 起保存旧值(value_json), 10-02~10-17 已被替换的旧版本只有哈希。数据源建议: 中期协投资者结构见 client_structure_disclosures; CTA 拥挤度见 cta_scale_proxy(排排网免费月度指数只到 2019-04, 朝阳永续需登录, 未做)。各轮"所有者模型"建议: 单品种目录做了随机方向孪生复核, 复核中发现品种目录回测引擎记账错误(空单"信号平仓"按多单记账; 换月不重置入场价, 新旧合约价差被算成盈亏; 跨厂商复核又发现换月当天同时平仓多收两边费用)。10-18 经所有者同意已修正 4 份引擎并重跑 20 个目录(修正前后对照 audit/fb37_40/engine_fix/compare_fix.md; 22,004 笔平仓逐笔核对, 不符 0; 核对限样本外 1 手口径)。修正后 726 条规则样本外净盈利为正 312 条(43%); 随机方向孪生 z ≥ 2 的 4 条(sr / ur 均值回归), z ≤ −2 的 31 条(纯运气下各约 17 条); 黄金规则 z 都未到 2, 优势可能主要是单边行情(未验证); 训练期夏普前 20% 的规则, 训练期夏普中位数 0.79, 样本外 −0.17。品种报告已在末尾追加更正(原文不改): 纯碱推荐策略样本外由 +2538 变为 −5824 元/手/年, 乙二醇季节策略 5000 元口径样本外转负, PVC 多数规则转正但在所列口径下未跑赢同期一直持空, 锰硅推荐策略数字不变; 这些更正是研究记录, 不作上线/下线依据; 线上信号管线未改、其账户未独立对账, 是否停用由所有者决定。FSS 改动请求第 1–5 条经所有者同意已落地(规则表加孪生 z / 同期持有均 R / 趋势年龄; brief 单笔硬上限 3%→2%; fss 本线单笔 8%/12%→2%、总 15%→4%; 加仓最多 1 层, 由代码执行), 实施记录在 FSS 的 reports/brief/change_requests/CR_20261018_owner_model_fb37_40_impl.md。以上经 Codex(GPT)跨厂商复核并按意见修改(引擎部分两轮); bigmove 打分改按事件概率排序, 方向列标明不可用(事件 AUC 仅 0.54–0.59)。 |
| 第三十六次反馈(含续篇, 2026-10-17 晚) | 基座缺陷(续篇 R3 排查引出, 已修): futures_pit_extension::position_rank_unified 的 DCE 2014-01-02~2020-07-17 多空合计恰为 2 倍——tushare DCE 合约行另带一行"期货公司会员" = 前 20 名之和, 原剔除名单只有"期货公司/非期货公司"; 已扩为 6 个类别名(含上期所 2025-08 起的"境外特殊参与者"长名称), 每晚 22:00 重建生效。bigmove 低频持仓特征(lowfreq.py 前 3 名会员)同一缺陷已修并加回归测试, 已落盘的 lf_position 未重建。第十四次反馈⑦"商品交易所无会员类别汇总"对上期所不成立, 已在上方更正。国家统计局月度采集自上线起从未成功(旧接口 403), 已按新版国家数据站接口重写(见下)。R1 sim 零交易: 新表 futures_research::single_product_results_unified(22 个单品种目录结果统一长表, fg/ta 格式一并转入, source_format 区分), flag = sim_no_trade 标出 sim 零成交行 403/1,452; single_product_sim_capacity 给每品种 1 手保证金估计(主力收盘 × 乘数 × 现行保证金率快照)对 5,000 元 × 70%, 如 AU 1 手最低约 5.7 万元。R2 sol trials: 未做——现有试验文件只存一侧, 须试验脚本在同一划分下重跑并同时落盘。R3 模型: 不 unpickle, 从 LightGBM pickle 的 opcode 中原样取出文本模型 171 个, 放在 model_exports/<system>/<relpath>.lgb(用 /strategies/files?system=futures_data&path=model_exports/… 单取, lightgbm.Booster(model_file=…) 可加载); 训练脚本引用 161→257/850(按文件名主干扩展匹配, refs_match_type 标明), 特征清单 268→609/850; 表 strategy_model_provenance。训练区间与样本外预测表仍缺。R4: single_product_strategy_freeze(策略清单 sha256 / 文件时间 / frozen_at): 目录文件最早修改于 2026-08-27, 晚于样本外起点, 不能证明 2024 年起数据未参与挑选; frozen_at(首次 2026-10-17)之后才算前向, 清单不变则 frozen_at 不变。R5: strategy_table_dictionary 中 fss__grid_backtests 21 列(含 r / net / votes / cost_pts / stop_dist)已有读码说明。低项: /strategies/files 不带参数返回用法提示; FSS 影子结果 fss_calls_shadow_outcomes(未成交建议按区间成交 / 次日开盘两种假设, 回避窗口按框架方向的基准规则; 现有样本很少, 只作积累); 490 张未镜像表与 strategy_architecture"未述"本轮未处理。以上策略衍生表随 StrategyCatalogDaily(09:05/21:05)重建。续 R1 研报观点 2015 起: 无完整源(基座 em_reports 2022 起、fxbaogao 2024 起; 候选中金在线"机构论市" 2015~约 2020-10, 未入库)。续 R2 政策事件(交易所侧): exchange_risk_params_daily(品种 × 交易日 标准保证金率 / 涨跌停幅度, 各合约众数, 2010 起)与 exchange_risk_control_events(11,554 条, 变化 ≥ 0.5 个百分点): category = holiday_routine 节假日例行 8,060 / limit_move_rule 单边市规则扩板提保及回落 1,413 / discretionary 其余 2,081(政策性调整看这一类, reverted_within_3td=1 的 92 条多为冷门品种众数噪声, 建议剔除); change_sign 是参数方向, 不是价格方向。政府侧 policy_event_pit 2021 年前每年 5~28 条, 本轮未扩充。续 R3 会员持仓长历史与席位分类: shfe_member_type_positions(上期所官方 期货公司 / 非期货公司 两类持仓, 19 品种, 2012-03 起; 2016-12-16 前合约级求和, 之后品种合计, 见 agg_basis)与 position_rank_by_background_daily(前 20 名按期货公司背景汇总, 背景用中期协股东 2026-10-13 快照套用全历史——有前视; 官方文件 + DCE 2014-01~2020-07 tushare 合约行补齐, source 区分; 券商系占持仓 74.9%, 未匹配约 0.2%)。两表随 GlobalExtras 每晚重建。新源(global_macro, 与收益关系未检验): glam_ndvi_8day(NASA GLAM VIIRS 8 日合成 NDVI, 61 个主产区: 美玉米/大豆/小麦/棉花, 巴西大豆与二季玉米, 阿根廷大豆, 中国东北玉米大豆与华北冬麦等, 印尼/马来棕榈, 加拿大油菜, 澳大利亚, 俄乌冬粮, 印度; 2012 起; anom = 当期 − 2013~2025 同期均值; available_date_assumed = 合成期末 + 7 天(推定); 源本身滞后约 1 个月); nbs_monthly(国家统计局新版国家数据站公开接口, 全国, 605 个月度目录, 1990 起; 键 catalog_id + zb_code + period; 同一指标按统计制度分段在不同目录, 衔接按 ek 或名称; 首跑回填历史的 first_seen_at 是回填时间不是发布时间; 修订进 nbs_monthly_revisions; 制造业 PMI 与非制造业商务活动指数 225 个月与 em_macro_pmi 逐月一致)。百度指数、微博/雪球需登录态, 钢联/隆众收费, 均未接。 |
| 第三十五次反馈(2026-10-17 晚) | 策略库读取被拦(使用者 AI 代理报"凭证探索"): 本机访问日志显示被拦的那次读取没有请求到达本服务, 拦截发生在代理一侧(已验证); 本机自己的代理在枚举 <系统>__files 整目录文件清单时也被同类规则拦过, 推断"枚举整台机器的文件"是触发点(对使用者未验证)。上方"给 AI 编程代理的说明"新增⑦: 读策略与模型请用 POST /sql 查内容表(strategy_source_files / strategy_docs / strategy_configs / strategy_architecture / strategy_models), 原件按确切路径单取, 不遍历文件清单; 仍被拦时由使用者在其代理里明确授权本域名。扩大源码收录(现每系统上限 600 个, 部分目录未收)与清单只列策略产物的改动已备好, 待所有者确认后上线。R1 PSD 逐期留档: usda_psd_alldata 键加 release_month(取数据内最大 calendar_year/month = 该期 WASDE 发布月; 原"下载所在月"口径在月初至发布日之间会错标), 新列 source_last_modified(远端文件 Last-Modified, UTC) / available_date(其北京日期, 回测按 available_date ≤ 交易日 过滤), 新表 usda_psd_release_log; 同月远端重发则整期替换并记日志。首期 2026-10(2,094,635 行, Last-Modified 2026-10-09 19:02 UTC)。2026-10 之前的数值是后来修订值、不是当时可见值, 不能用于回测, 历史 vintage 用 wasde_cells; /freshness 标签改为"每期发布快照, 2026-10 起留档"。R2 GDELT: 原因是 429 限流(FU 无语调也是语调请求 3 次都 429, 不是源端为空)。已改: 回补 1 年一请求、429 只重试 1 次、连续 6 次 429 熔断本次运行; 增量按覆盖最少的品种优先, 回补按最新年份优先、各品种轮流(先让每个品种都有近年数据)。本轮手动回补 40 分钟: 成功 27 次、被限流 28 次, 间隔放宽到 15 秒反而 12 次只成功 2 次——瓶颈在源端限流; 当前覆盖以下方 /freshness 为准; 每晚 R13 增量 + R14 回补 60 分钟继续(待取约 1,000 个请求), 补全时间未知; /freshness 的 GDELT 行给出逐品种语调/篇数起止(JSON 字段 coverage)。R3 维基: 16 个重定向条目改用目标页, 日浏览量 = 目标页 + 原标题相加(原标题上有改名前的浏览, 如 JD en 2023 年前); 不存在的条目 TA/P/CS/EC zh、SM en 换正名页, RB/LU/SM zh 无对应条目置空; 旧行移入 wiki_pageviews_daily_retired。新表 wiki_article_map(品种×语种 108 行): direct 85 / proxy 14(HC Steel、FG Glass、SI 多晶硅、RM 油菜籽、LH 猪肉、EC Containerization 等, note 写明代理关系) / macro 6 / none 3, FU 与 LU 共用 en Fuel_oil 标 shared; 近 365 天日中位数 <20 标 low_traffic, 修正后 9 个(多为中文页: SF 硅铁 2、JM 焦煤 6、M 豆粕 10 …)。R4 fg 模拟账户: 新表 paper_account_forward_daily_corrected(原表不改), 按所持合约逐日收盘重算: 08-17 FG2609→FG2701 换月日按旧合约今收平仓并扣两腿手续费 52 元, 当日 +100 → −272; 补 08-18 缺行(+120), 08-19 由两日合计 +420 拆为 +300; 期末权益 6,530 → 6,158, 最大回撤 −14.4% → −15.3%, 最大名义杠杆 3.87 倍; summary 加修正后各列。fg 源文件 09-30 后仍未更新(写入方无定时任务), 是否恢复记录待所有者决定。R5: pit_single_factor_diagnostic_summary_fixed_adj 加 mean_ic_oos_nonoverlap(t_oos_nonoverlap 的分子): 与 t 异号 0/729; 与全部 OOS 日均值 mean_ic_oos 异号仍 102/729(重叠与非重叠抽样之差)。非重叠点数 1 日 75–101、5 日 15–20、20 日 3–5, note 注明点数少时只作观察、不据此升级状态。低项: ① realized_vol_20d_adj = 复权日简单收益 20 日滚动总体标准差(ddof=0) × √252, 至少 10 个观测(逐行与库值一致); 与"对数收益样本标准差"的差主要是 √(20/19) ≈ 1.026 倍, 中位绝对差 0.0042。② /freshness 中 global_macro 各行 last_success_at 已填(表内写入时间或采集日志)。③ 黑色驱动按约定下轮复核。 R6 新数据源(global_macro, 每晚 GlobalExtras R15/R16, 与收益关系未检验): usdm_drought_weekly(美国干旱监测: CONUS / US_TOTAL + 14 个主产州, 2000-01 起每周, 累计口径 d0_pct = D0 及以上; available_date = map_date + 2 天); nass_crop_progress_weekly(USDA NASS 作物进度/长势, 官方 Quick Stats 全量包, 全国+州, 1979 起 50 个作物 287 万行; available_date = week_ending + 2 天, 周一逢美国联邦假日再 +1, 规则推定); cpc_outlook_point_daily(NOAA CPC 6–10 / 8–14 天温度与降水概率展望在 10 个美国产区点的取值: category / probability / signed_prob; 2012-09-11 起 4,943 个发布日已补齐, 源文件为空图的记 NO_DATA、不当作等概率, 2022-10-31 源站 403 缺一天; available_date = fcst_date + 1 天)。 |
| 第三十四次反馈(2026-10-17 下午) | AI 代理读取策略库被拦: 使用者的 AI 代理读取策略库时被其自身会话的安全规则拦下。本机判断(未验证)是平台文案引起: /auth 曾下发第二个 token、各处对策略库访问方式的说明不统一、文件清单里出现凭证类文件名。已改: /auth 只返回一个 token(旧 strategy_token 仍可用); 根页新增"给 AI 编程代理的说明"; 全站去掉访问分级的旧文案; 凭证类文件名与以 . 开头的隐藏目录(工具配置、浏览器会话)一律不列出、不提供, 策略目录重建后 36 张 __files 表 163,025 行中命中 0。本地策略新纳入 mock_skill(G:/mock skill, 小资金期货技能工作目录, 共 48 个系统)。高1/R1 global_macro 写锁: 持锁者是 fb33 新增的 GDELT/维基采集(整程只开一个写连接)。已改为每次写入短暂开库、写完即关; 新增只读快照 _ro_snapshots/global_macro.duckdb(每晚 GlobalExtras 末尾刷新): /sql、/schema、unified 遇写锁自动改读快照, 返回体带 snapshot(源时间/复制时间), 无快照时 503 + Retry-After; /freshness 标出 locked (writer running) 与快照行。10-16 晚 21:20 GlobalExtras 本身 rc=0, 首页的失败是探测打不开库。中2/R2 因子复权: 22 个价格类因子按"前一日主力合约自身收盘比"复权重建(无前视、不跨合约拼接; 2010 起) → futures_research.pit_feature_price_adj_daily; 新诊断表 pit_single_factor_diagnostic_summary_fixed_adj / _annual_fixed_adj(固定合约标签; 分设计日前 IS 与设计日后 OOS; is_final 标最终口径)。同样本(2010 起)20 日均 IC: ret_60d −0.025→+0.010, ret_120d −0.009→+0.034, trend_tstat −0.013→+0.014, ret_20d +0.003→+0.016——"动量为负"主要来自因子本身的换月跳价, 与使用者判断一致。PROMISING 158/729(fb33 为 159); 设计日前 157 个中设计日后同号 119 个, 但同号且 |非重叠 t|≥2 只有 4 个(反号 5 个), 与随机水平相当; 样本外只有约 5 个月, 20 日视距非重叠仅 5 点。R3: 维基 2015-07-01~2026-10-15, 54 品种全覆盖(40.4 万行); GDELT 16:54 回补后 6 品种 7,568 行(I 已逐年补齐 2017 起, 其余多为 2024 起; 另查明 RB/HC/J/LU/SI 的检索式 OR 未加括号, 不合 GDELT 语法, 已改), 原因是 GDELT 429 限流 + 原脚本"一列到手即算补完"的缺陷。已改: 按模式分别补、≤3 年一请求(请求量约 1,080→430)、单模式写入不覆盖另一列、源端无数据记 EMPTY、先直连; 每晚 R14 继续, 补全时间未知; 逐年覆盖见 audit/fb34/sentiment_coverage_by_year.csv 与 /freshness。R4 单品种前向记录: 22 个单品种目录中只有 fg 有模拟账户(2026-07-21~09-30, 50 天、5 次换仓, 之后源文件未更新), 其余只有回测输出——此前指引页说法有误, 已更正。公开为 paper_account_forward_daily / _fills / _summary(初始资金推断 5,000, 期末 6,530, 单边成本 26 元, 最大回撤 −14.4%); 样本太短, 不足以算去偏夏普。黑色驱动(已核实项"JM/SF/SM/NI/WR 仍为 0"): 补了新鲜源——曲合期货日历转载的 Mysteel 铁合金周度 8 条(2026-07-10 各值与期货公司日报引用逐项一致, 并入 supply_side_series)与知数炼焦煤 / 线材库存; 映射表新增 10 行, 干跑新鲜驱动 SF 0→5、SM 0→3、JM 0→1、WR 0→1。同时修正桥接两处错误: 知数 pit 同日重复行使 I 铁水变化为空; 多序列求和上一期未同日对齐, J 全链焦炭库存周变化被港口总计 10-08 的一个 0.0 杂点算成 +159.75(实为 −3.36, 方向相反, 10-17 的 J 打分受影响)。10-18 06:00 黑色流水线起生效(未验证); NI 规则只有一次性年度指标, 补源需改模型规则, 本轮未动。研究结论(按品种挑信号不可取, 用统一信号 + 风险预算)已采纳。fb33 的固定标签表与设计日期表补登到 data_catalog。 |
| 分析框架检验 fw01(2026-10-18) | 所有者提交的"期货分析系统(检验版)"(宏观→供需→估值驱动→资金盘面→工具执行+风控)用基座数据逐条重算: 97 品种 × 2010–2026, 固定合约 T+1 开盘标签 (h=5/20/60), NW t + 非重叠 t, IS 2010–18 / OOS 2019–26, 165 个检验。结果表 futures_research.framework_rule_verdicts_fw01(55 条规则裁定) / framework_ic_tests_fw01 / framework_rule_tests_fw01 / framework_a5_backtest_fw01(双均线 SMA5/20 与 20 日通道突破, 含成本) / framework_seasonality_fw01, 按 run_id 追加。支持: 期限结构 back→多 (IC 0.083, 94% 年份同号, 最强)、基差率贴水→多 (0.048)、仓单 z/库存 z 高→空 (−0.063/−0.071)、净多单率为顺势指标 (0.051, IS=OOS)、虚实盘比用品种内分位 (0.065)。不支持/相反: 利润 (两方向 IC≈0, 19 公式代理 + 27 公开利润)、假贴水/假升水 (高位深贴水 60 日仍 +2.9%)、价高+净多极高→多杀多 (平均继续涨)、价低+净空极高→反转 (继续跌)、多空同增→行情未完、虚实盘比 10:1 / 1:3 绝对阈值 (总持仓口径中位 77)。A5: SMA5/20 胜率 37% 盈亏比 1.9 PF 1.11 (OOS Sharpe 0.28); 20 日通道 PF 1.19 (IS 1.21/OOS 1.17), 52/86 品种 PF>1, 前 3 品种仅占 29% 利润; 季节性除棉花外样本外不复现。风控: "仓位 10–30%(保证金)" 与 "单笔亏损 ≤1–2%" 互相矛盾 (2 ATR 止损下 20% 保证金仓位 = 单笔 7%)。补数据: futures_inv.czce_receipt_unit(CZCE 张→吨/手, 33 品种, 26 官方核验) 与 receipt_validity_rules(90 品种仓单有效期) 使虚实盘比覆盖 27→77 品种; basis_daily_ext(22 品种) 使基差覆盖 63→85; profit_public_weekly(27 品种研报利润)。最大未补缺口: 社会库存 (知数免费复合仅 27 品种, 农产品/有色/油脂需付费源)。第二轮替代源(当晚): 新表 futures_inv.shfe_weekly_stock(上期所每周库存报告 2010-01 起 813 期/23 品种, 库存小计 含非仓单实物 + 期货库存 + 库容; 期货库存与仓单表逐日一致)、exchange_inventory_global_daily(LME 1980 起/COMEX/SHFE 库存期货 17 序列, 知数本机观测, 带 PIT 可见时间)、agri_inventory_public_monthly(白糖工业库存=中糖协产销公报推导 2017-03~2025-05; 棉花商业库存仅 2024-05 起 22 月)、agri_inventory_public_weekly(Mysteel 公开周报 2026-04 起: 油厂大豆/豆粕、港口大豆、饲料企业豆粕天数、三大油脂)。检验: 上期所库存小计 z≤−1 → 20 日 +0.68% (t 2.5/1.8, IS=OOS) 支持, 高库存侧 60 日 −3% 偏弱; LME/COMEX 全球库存对国内方向无信号; A1 宏观 8 条规则 (美元/联邦基金/PMI/社融, 按发布日) 等权组合无一条达门槛 (framework_a1_macro_fw01)。受阻如实: chinagrain VIP 墙、cofeed 证书过期、cncotton 需会话、东财库存接口仅 67 日。第三轮间接源(当晚): 从本机 51,897 篇券商/资讯报告正文 (2013–2026) 按规则抽取转述的付费周度库存 → futures_inv.text_mined_inventory_weekly(31 品种 5,339 品种周: 豆粕 405 周、豆油 494、棕榈油 472、菜粕 317、甲醇港口 309、两油聚烯烃 433、电解铝 227、铜 177、锌 207、白糖工业库存 322、棉花商业库存 92、北港玉米 134、青岛橡胶 173、纸浆 129、能繁母猪 127…), 逐条命中在 _hits 可追溯 doc_id; 交叉验证: 豆粕 vs Mysteel 2026 公开页 corr 0.9996, 白糖 vs 中糖协 0.88, 棉花 vs 月报 0.99, 铜 vs Mysteel 有色公开页 0.97 (n=5), 铝/锌/铅 vs 上期所库存小计 0.65/0.70/0.80; 每晚 GlobalExtras R21 重建, /freshness 有行。配套 metals_inventory_public_weekly(Mysteel 有色/SMM 公开页 97 行, 2025-11 起, 口径后缀区分)。检验: 报告抽取库存 z252 20 日 IC −0.067 (t −2.3, 89% 年份同号), z≤−1 → 20 日 +1.16% (t 2.8/2.0, IS=OOS); 社会库存因子覆盖 27→44 品种。v2 打分落地: futures_research.framework_v2_score_daily(2011–2026, 67 品种, 最新日 70 品种有分; 权重照 v2 文档无参数搜索) 20 日 IC 0.074 (NW t 5.8, IS 0.091/OOS 0.056, 16 年全正), 五分位月度多空含成本年化 8.8%, Sharpe 0.60 (IS 0.83/OOS 0.40), 最大回撤 26% (framework_v2_backtest_fw01); 净多单率过滤无增益。第四轮(所有者: 不限合规源, 可信即可): 文本抽取语料扩到 4 个本机语料共 95,171 篇, 规则 47 条 → text_mined_inventory_weekly 46 序列 / 42 品种 / 6,567 品种周 (新增 蛋鸡存栏 98 月、生猪存栏、工业硅 90 周、纯碱 85、尿素 77、焦煤港口 66、玻璃 27、多晶硅、碳酸锂、淀粉、苹果冷库等); 重跑后结论不变 (库存 z252 20 日 IC −0.073; v2 打分 IC 0.073, 多空 Sharpe 0.60)。新增公开新闻语料 fundamentals_text.public_news_docs (采集器 fetch_public_news_corpus.py, 任务 PublicNewsCorpus 每日 21:40 增量; 文本挖掘器已接入): 东财资讯 API 索引仅 ~1.5 年, 新浪滚动仅近数周, 100ppi/和讯 JS 反爬未绕; 2010–2024 深历史试了 Internet Archive 快照 (fetch_public_news_wayback.py): 东财期货页归档 73,095 篇集中在 2018–2022, 等距抽 300 篇产出率测试 库存正则命中 0 (泛财经快讯/交易所口径), mysteel 归档 CDX 持续 504 → 不启动长跑; 结论: 2013 年前的农产品社会库存没有可信免费替代源, 只能订阅。fw02 预注册策略迭代: 11 个变体 (周度分批/风险平价/多头突破门槛/波动目标/板块中性/252 窗口/IS-IC 权重/carry 变化/A1 开关/叠加) 无一通过 IS+0.10 且 OOS 不退步 的门槛, 最终策略 = 基线 V0 (月换仓 Q5 多/Q1 空 各腿等权): IS Sharpe 1.08 回撤 −14% / OOS 0.64 回撤 −20%, 年换手 19x; 共振作为入场门槛失败 (IS 0.16–0.66), 降为否决条件; 多头腿/空头腿盈利随大周期切换 (IS 空头 10.3%/多头 3.7%, OOS 多头 12%/空头 −3%)。表 framework_strategy_variants_fw02 / framework_strategy_equity_fw02, 预注册 audit/fw02/PREREG.md, 报告 audit/fw02/fw02_report.md; 月度重验任务 FrameworkMonthlyRevalidation (每月 1 日 03:30)。fw03 以性能为目标的迭代: 预注册 108 个配置 (线性/五分位/十分位配权 × 252/504/756 窗口 × 固定/滚动 IC 权重 × 1/2 月持有 × 月度时序动量 sleeve 0/25/50%) 逐年滚动前推选优, 2015–26 前推 Sharpe 0.74 vs 基线 0.76 → 自动调参无增量; 杠杆层面一致的增量: 得分线性配权 (OOS 0.77 vs 五分位 0.68) 与 2 月分批; 月度 60 日动量 sleeve 太弱 (0.26/0.07) 不要。最终 v2.3 (事后组合, 2019–26 为半样本外): 基本面 sleeve (线性配权, 2 月分批; Sharpe 1.04, OOS 0.87) × 日频 20 日通道趋势 sleeve (Sharpe 0.57, 相关 0.02) 50/50 风险合成 + 波动目标 12% → Sharpe 1.26 (IS 1.45 / OOS 1.07), 年化 16.0% (OOS 13.8%), 最大回撤 −16.8%, 16 年全正 (基线 0.85 / 11.6% / −20%)。表 framework_walkforward_*_fw03, framework_final_combo_fw03 (+_equity); 预注册 audit/fw03/PREREG.md, 报告 audit/fw03/fw03_report.md。真正的样本外自 2025-10 起由月度重验追加; 未含冲击成本/成交额上限; 未经独立复核。fw04 (v2.4, 新留出期 2025-10 起 248 日从未用于选择): 全部 sleeve 统一 6bp/边 口径 (fw03 的 v2.3 1.26 系趋势 sleeve 按 3bp, 同口径重述为 1.06); 趋势 sleeve 5 个预注册候选按开发期选 55/20 通道 (开发期 0.55 vs 20/10 的 0.31); 跨期价差 sleeve (按期限结构 z 多近空远) 开发期 0.0 / 中间期 −1.1 → 否决; 容量: 2% 成交额参与 + 平方根冲击, 基本面 sleeve 到 10 亿 Sharpe 仅降 0.05, 趋势 sleeve 5 亿以上降 >0.1 → 组合容量约 5 亿。v2.4 = 基本面线性配权 2 月分批 × 55/20 趋势, 风险 62/38 (按开发期 Sharpe), 波动目标 12%: [fw04 首版数字 (1.19 / 留出 1.98) 因记账不可执行已由 fw05 重述为 1.18 / 1.47, 见下一段] 预注册采纳标准 (留出 ≥ v2.3−0.2 且开发期更高) 重述后仍通过。表 framework_v24_fw04 / framework_v24_equity_fw04 / framework_trend_variants_fw04 / framework_spread_sleeve_fw04 / framework_capacity_fw04; 报告 audit/fw04/fw04_report.md。留出期仅 248 日, 置信区间宽; 未经独立复核。fw05 自我纠错 + 前沿探索 (当夜): 纠错: (E1) 信号驱动 sleeve 此前按"每日重归一权重"记账, 不可执行且高估 — 改为建仓后单位固定的可执行记账, v2.4 重述为 Sharpe 1.18 (开发期 1.47 / 中间期 0.78 / 留出期 1.47, 年化 14.2%, 回撤 −18%; 此前 1.19/1.33 作废), v2.3 同口径 1.13, fw02 基线 0.85; (E2/E3) fw01 A5 与 fw03 的 3bp 成本统一重算为 6bp (framework_a5_backtest_restated_fw05: 通道 0.53, 双均线 0.36); (E4) 容量模型 amount 单位 (万元) 错误已修并全扫; (E5–E7) 变体设计缺陷、OOS 复用、判定代码取错行 均记录。置信: 分块 bootstrap 95% 区间 [0.66, 1.69]; 126 次试验的 Deflated Sharpe 概率 0.97; 执行 lag 1/2/3 → 1.18/1.18/1.16; 容量: 基本面 sleeve 10 亿 Sharpe −0.05, 趋势 sleeve 2 亿减半 → 组合约 1–2 亿 (framework_capacity_fw04 新 run)。前沿: 机器学习截面模型 (HistGradientBoosting, 62 PIT 特征, 年度扩展窗口前推, 21 日 embargo): 单独 IC 0.048, Sharpe 开发期 0.24 / 中间期 0.73 / 留出期 0.68; 与基本面排名集成 中间期 0.93 vs 0.78、留出期 1.52 vs 1.31, 但开发期 1.21 < 1.27 → 按预注册暂不采纳, 列为下一轮方向 (framework_ml_xs_fw05, 预测 framework_ml_xs_pred_fw05); sleeve 动态配置 (12 月 Sharpe softmax) 1.05 vs 1.18 → 否决。报告 audit/fw05/fw05_report.md。fw06 目标可达性 (所有者目标: 无杠杆 CAGR 30% / MDD ≤20% / 收益不集中): 预注册 48 个无杠杆 (Σ|w|≤1) 配置 (lin/q5/q10/top3 × 等权/1/ATR/×ATR × 仅基本面/基本面70%+趋势30% × 基本面/基本面+ML 集成): 全样本 CAGR 3–8%; 满足 MDD≤20%、最好 24 月占比≤40%、滚动 36 月 CAGR>0、正年份≥75% 的只有 4 个 (均含 ML 集成), 最优 = top3·×ATR·基本面70%+趋势30%·集成: 无杠杆 CAGR 6.4%, MDD −8.9%, Sharpe 0.98 (开发期 7.4% / 中间期 4.1% / 留出期 17.9%)。杠杆前沿: 2.0x 12.7%/−17%, 2.3x ≈14.5%/≈−20% (MDD 边界), 4.0x 24.9%/−33% → 30% 在 MDD≤20% 下不可达 (需组合 Sharpe≈2, 现 1.0–1.2); 可达路径是再加 2–3 个不相关 sleeve (境外期货、跨资产、期权波动率、日内), 已证伪: 跨期价差/月度动量/宏观开关/动态配置。表 framework_unlevered_fw06 / framework_frontier_fw06, 报告 audit/fw06/fw06_report.md。fw07 新 sleeve 探索: 境外期货趋势 (23 品种 yfinance 前月连续, 开发期 Sharpe −0.45, 数据含换月跳价)、金融期货趋势 (0.28)、商品一周截面反转 (−0.95, 反向扣成本亦负) 三个候选均不满足 "开发期 ≥0.5 且相关 <0.3", 未采纳; 组合仍为 fund+trend。目标 (无杠杆 CAGR 30% / MDD≤20% / 不集中) 状态: 未达成 — 无杠杆最优 6.4% (fw06), MDD≤20% 下最高 ≈14.5% @2.3x。表 framework_sleeve_lab_fw07 / framework_frontier_fw07, 报告 audit/fw07/fw07_report.md。fw08 期权波动率风险溢价 sleeve (v2.5): 每月对全部有期权品种 (2018 年 2 个 → 2026 年 61 个) 卖 ATM 跨式 + 每日 delta 对冲, 权利金 1%/边 + 对冲 6bp/边, 结算价盯市: 单独 Sharpe 1.45 (开发期 2018–21 0.75 / 中间期 2.56 / 留出期 1.50), 波动 3.8%, MDD −7.5%, 9/9 年正, 与 fund/trend 相关 0.05/−0.10 → 采纳为第三 sleeve。三 sleeve 合成 (fund_ml 56 / trend 1 / vrp 43) Sharpe 1.6 (2018–26): 无杠杆 (名义≤权益) CAGR 5.1% / MDD −4.3%; 5x 名义 27.0% / −20.1%; 5.5x 29.9% / −21.9%; 不集中约束全部满足。目标状态: 无杠杆 30% 未达成; MDD≤20% 下可达 ≈27% (上一轮 14.5%)。表 framework_vrp_fw08 / framework_combo3_fw08 (+_equity), 报告 audit/fw08/fw08_report.md。边界: 期权仅 8.8 年, 空波动尾部风险被日盯市低估, 权利金成本为假设。fw09 (v2.6): 商品 VRP 4 个预注册变体中 "开仓日 ATM IV > 20 日实现波动才卖" 通过 (开发期 0.75→1.16, 全样本 1.64, MDD −4.6%); 新抓 ETF 标的日线 (futures_options.etf_underlying_daily, 9 只 2015 起, tushare 与 sina 对账一致) 建 ETF 期权 VRP: Sharpe 0.20 否决。三 sleeve 合成 (fund_ml 51 / trend 0 / vrp 49) Sharpe 1.80 (2018–26): 无杠杆 5.5% / −4.0%; 5.0x 名义 29.6% / −18.8%, 5.5x 32.8% / −20.6%; 不集中约束满足 (最好 24 月 36%, 滚动 36 月最低 +15%, 年份 100% 正)。目标状态: "30% + MDD≤20% + 不集中" 在 ≈5.1x 名义 (保证金约 50%) 下首次达到; "无杠杆 (名义≤权益)" 口径仍未达到。表 framework_vrp_variants_fw09 / framework_etf_vrp_fw09 / framework_combo3_fw08 (vrp_variant=V1), 报告 audit/fw09/fw09_report.md。边界: 期权 8.8 年、空波动尾部低估、成本为假设、未独立复核。fw10 驱动因子高阶导数 + 科学组合 (v2.7): 11 个驱动因子 × 水平/1/2/3 阶导数 (20 日步长, 品种内 z) × 20/60 日, 共 84 个检验 (framework_factor_orders_fw10): 水平项主导; 一阶导数有独立信息 (对水平项残差后 |t|>2 且 IS/OOS 同号: 仓单增加 −0.017/−0.040、基差刚扩大 −0.036 (与水平反向)、净多率刚升 −0.021); 二/三阶导数 4 个过线 ≈ 假阳性预期。幅度发现 (framework_factor_amplitude_fw10): 水平因子 IC 在 "刚大幅变动" 三分位最低甚至反转 (basis 0.073→0.028, 仓单 −0.051→+0.024) → 变化幅度应用于减仓。组合 (framework_factor_combos_fw10, 开发期估计): 9 项等权 (6 水平 + wr_D1/basis_D2/vrr_D1) Sharpe 1.34 vs v2 1.04 (开发期 1.80, 留出 1.18) 采纳; 幅度反向加权 (事后) 1.43; Fama-MacBeth 回归权重 1.01–1.26 不如等权; 幅度 conviction 加仓 0.97 最差; 仅水平项 1.17 (导数项贡献 +0.17)。与 trend/VRP 合成 (framework_combo4_fw10): 无杠杆 CAGR 5.5% → 6.4%, MDD≤20% 下 ≈27–31% 不变 (v2.6 ML 版仍是 30% 的最优路径)。报告 audit/fw10/fw10_report.md。fw11 因子的因果源头 (v2.8): 10 个上游变量 (产量/开工/消费/进出口同比、利润水平与 20 日变化、GDELT 语调与篇数、维基浏览量 z、持仓变化) 对 5 个驱动因子未来 20 日变化 与 对收益的直接/残差 IC (framework_upstream_fw11): 利润刚改善 → 之后基差率上升 (t 5.7) 且仓单增加 (t 2.5), 开工高 → 社库上行 (t 2.3) — 上游通过改变因子起作用; 对收益有因子外直接信息的只有 产量同比 (20 日 IC −0.036, 残差后 −0.034, IS/OOS 同号), 已加入得分: 10 项等权 ÷(1+幅度) 全样本 Sharpe 1.49 (开发期 1.96 / 中间期 1.10 / 留出期 1.02, MDD −14.5%; framework_prod_term_fw11)。GDELT/维基/消费/进出口/利润水平 对收益无直接信息。目标状态不变 (MDD≤20% 下 ≈27–31%, 无杠杆 ≈6.5%)。报告 audit/fw11/fw11_report.md。fw12 全因子扫描: 基座 264 个因子 (PIT 面板全部数值特征 + fw01 派生) × 水平/1/2/3 阶导数 = 1,056 个特征 × 20/60 日, 2,091 个检验 (framework_factor_sweep_fw12), BH-FDR 5% + IS/OOS 同号 + 年同号≥60% → 通过 60 (25 个为 2026-05 设计的工程化分数, 已标注); 20 日视距 22 个聚成 11 个独立簇 (framework_factor_sweep_pass_fw12), 6 个即 v2.8 驱动; 新簇: 3 年价格分位 (+0.044, OOS 0.052)、仓单 60 日变化、持仓 z 二阶导、carry 持续性。导数: 20 日 D1 0 个、D2 2 个; 60 日 D1 6 个 (动量减速 −0.049 t −3.8、仓单增加、波动上升)、D3 2 个 → 二阶以上≈假阳性率。上游 (framework_factor_sweep_upstream_fw12): 仅 利润变化→基差 (t 4.7) 与 持仓→虚实比 (机械)。组合 (framework_wide_score_fw12): 新簇加入 10 项得分 开发期不升 (1.96→1.64–1.98) 或留出期退步, 边缘项 动量减速 (DEV 2.06/留出 0.81)、波动上升 (2.04/1.17) 交月度重验; 得分维持 v2.8 10 项, 目标状态不变。报告 audit/fw12/fw12_report.md。fw13 强化尝试: 时序版基本面 sleeve (开发期 1.13 / 全样本 0.93, 与截面版相关 0.53 → 不独立)、金融期货 carry 时序 (0.21)、组合构造升级 (sleeve 波动归一 / 均值-方差 / 波动目标: v2.6 三 sleeve 1.80 → 1.36–1.53, CAGR@MDD20 31.5% → 20.6–25.5%, 简单名义份额最优)、宽因子 ML (103 非后视因子水平+D1, HGB×3 种子, IC 0.062 但逐年不稳, 开发期 −0.10, 集成后开发期 1.39 < 2.04) — 四个方向无一通过 (framework_ts_sleeves_fw13 / framework_combo5_fw13 / framework_ml_wide_fw13)。饱和判定: 结合 fw12 (独立信息方向 ≈11 个, 已含 6 个), 现有数据上继续叠加规则不再有真实增量; 增量需新数据/新资产 (tick 微结构、付费社库、境外到期合约、期权偏度、跨资产)。当前最优不变: v2.6 Sharpe 1.80, CAGR@MDD20% ≈31.5% @5.3x 名义, 无杠杆 5.5–6.4%。报告 audit/fw13/fw13_report.md。fw14 新因子域: 从 G:/tdx_db 1 分钟主连 (2005 起, 7,500 万根) 聚合 95 品种日度微结构特征 (micro_features_daily_fw14: 订单流代理/1 分钟实现波动偏度峰度/夜盘·日盘·跳空收益/时段成交占比/VWAP 偏离/区间效率/Amihud) → 15 个 20 日因子; 期权衍生 10 个 (ATM IV、25Δ 偏度、PCR、put 持仓占比、IV 期限结构、IV−RV…); 产业链价差 2 个 (28 条链对)。104 个检验 (framework_new_domain_sweep_fw14): FDR 通过仅 跳空动量 (−0.044, t −3.6, IS −0.055 / OOS −0.039, 92% 年同号) 与 put 持仓占比 (2018 起无开发期); 订单流/VWAP 偏离/夜盘动量/PCR/偏度 t 2.0–2.7; 产业链价差无 (与 fw01 利润 IC≈0 一致)。跳空动量加入得分: 开发期 1.96→1.93, 留出 1.02→0.66 → 不采纳 (framework_new_domain_score_fw14)。目标状态不变。报告 audit/fw14/fw14_report.md。fw15 传统与前沿挖掘: (1) 遗传规划/符号回归 (44 基础变量 × 21 算子, 深度≤4, 400×12 代, 适应度=开发期 ICIR−复杂度; framework_gp_alphas_fw15): 去重后 14 个, 6 个过 "开发期 |t|≥3 + 中间期同号 + 残差 |t|≥2.5", 全为已知驱动重组 (仓单z×ts_min20(夜盘动量)、soc+vrr−term…), 开发期 IC 0.14–0.16 → 中间期 0.03–0.07 (过拟合衰减≈70%); 入得分 全样本 1.49→1.51–1.55, 留出期 −0.08~+0.15 不一致, 6 个全加中间期退步 → 不采纳 (framework_fw15_score_fw15)。(2) GRU 序列模型 (60 日×44 变量→20 日排名, 年度扩展窗口 2014+, 3 种子, GPU): IC 0.059, 单独 Sharpe 0.89 (迄今最强 ML; HGB 0.53/0.70), 但与基本面 sleeve 相关 0.74, 集成 1.22<1.43、作第四 sleeve 1.57<1.79 → 不采纳 (framework_gru_fw15)。(3) 滚动 PCA 统计因子 (残差动量 20/60、反转 5、残差波动、β 暴露及变化): 全部 |t|<0.7 (framework_pca_factors_fw15)。结论: 三类方法在同一数据上重新发现同一组驱动, 无正交稳定新因子; 目标状态不变。报告 audit/fw15/fw15_report.md。fw16 深度补强: (1) 国家统计局 127 种产品月度产量 (基座 nbs_monthly, 1997 起) → 34 品种供给同比 / 45 品种下游需求同比 (nbs_supply_demand_daily_fw16), PIT 规则 (M+1 月 20 日, 1–2 月期 3 月 25 日) 与 1,128 条官方发布日对账 0 违规; 供给同比 20 日 IC −0.040 (t −2.6, 82% 年同号) 与知数产量同比一致 → 官方源独立确认; 需求同比 ≈0; 入得分未过门槛, 作知数项备援 (framework_nbs_ic_fw16 / framework_nbs_score_fw16)。(2) 当前体系逐日目标头寸表 framework_live_signals_daily_fw16 (97 品种 2011–2026: 10 项得分、幅度抑制、基本面 sleeve 目标权重、趋势 d 信号/权重, T+2 收盘执行) 与当月 VRP 选中 framework_live_vrp_picks_fw16 (2026-10-08: 66 候选 / 50 选中, 含合约、行权价、IV/RV、对冲 delta) — 纸面交易可开始。(3) 自查缺口: 趋势 sleeve 1/ATR 使国债期货占 25% 名义 (剔除后 0.40→0.37, 非隐藏押注, 待加单品种上限); VRP 回测末月到期判断口径; 空波动尾部需分钟级期权; 独立复核待安排。报告 audit/fw16/fw16_report.md。fw23 回应外部红队 → 小资金纯期货整手模型 / 期权口径修正 / 真前向记录: 外部红队已验证的四点与处置: ① 回测按任意比例持仓, 小资金不可复制 (基本面单仓中位 1.28%, 100 万资金 0% 仓位够 1 手) → 建整手约束引擎 (手数取整、顺延、保证金 = 交易所率 + 2pp、滑点 1 tick/边 + 6bp、月度再平衡 lag 2, 100/300/1,000 万三档, K ∈ {5,8,12,16,20,30} × 名义倍数 L ∈ {1,1.5,2,3} × HMM {不变/减半/清仓}, 144 组合 + fractional 同 K 参照, framework_fw23_lot_engine)。诚实结论: 小资金"高收益低回撤"不可兼得: 开发期按 "MDD≤15% 下 CAGR 最大" 选出的 K8/L3 在中间+留出期 MDD 扩至 −38%~−47% (CAGR 17%, Sharpe 0.3–0.7); 全样本回撤约束前沿: MDD≤15% → CAGR 5.9% (100 万) / 7.8% (300 万) / 8.2% (1,000 万), Sharpe ≈1.0–1.1, 甜点 K20/L2; MDD≤20% → 8.4–9.6%。原因: 生产版 Sharpe 1.8 来自 ~70 个品种的线性秩权重, top-K 等权本身先折掉 0.4 Sharpe (fractional 同 K: K8 1.46 / K20 1.08), 资金规模消除的是执行摩擦 (跳过率、跟踪相关) 而不是 alpha; 趋势模块对小资金无增量。② 期权 sleeve 选权与开仓用当日结算价、少滞后 2 日 → fw08/09 改为 T−2 决策 / T−1 成交 (与期货 lag 2 一致), 权利金成本 1%/2%/3% 全报: V1 lag2 Sharpe 1.97@1% (原 2.00) / 1.5 级@2% / 1.09@3%; 生产合成以 lag2 重述: 成本 1% Sharpe 2.62 MDD −4.7%, 成本 2% 2.35 / −5.1% (framework_fw19_production 新两行, 旧行保留); 实盘选权同步改口径。③ 纸面账为 10-19 倒推且无期权腿 → 账本加 reconstructed 标记 (10-19 前 =1), 新增期权腿 (期权结算盯市 + 期货对冲 + 1%/边), 新表 framework_forward_record_fw23 只含 2026-10-19 起的真实前向行, 日更追加, /freshness 增 forward_record_days。④ 期货引擎 lag/成本与 HMM 无前视: 确认。报告 audit/fw23/fw23_report.md; 累计试验 34,403。fw22 族条件化混合 + 第三方红队指南: 保留全局排名、只让项集按族条件化的最后一类变体 (族掩码剔除族内失效项 / 全局排名 + 族专属增补项 / 增补作全局项): 开发期 −0.149 / +0.003 / +0.058, 200 伪族安慰剂分位 0.11 / 0.23 → 全部否决; 至此族专属路线 10 种变体无一优于统一模型, 结论封闭。为独立复核方撰写 audit/THIRD_PARTY_REDTEAM_GUIDE.md: 项目位置与目录结构、生产版 v2.9b+J1 的逐项定义与代码/表位置、分段与选择纪律、8 条核心主张 → 证据位置 → 已做自检、7 项未解决风险 (留出期功效弱、文本块临时、空波动率尾部、成本容量为假设、同一作者自检非独立复核)、从零复现命令。累计试验 34,253。fw21 品种族专属模型 vs 统一模型 + 4 张未用 PIT 表挖掘 + 排序学习: 预注册 audit/fw21/PREREG.md; 5 个族 (黑色 / 有色+贵金属+新能源金属 / 能化 / 油脂油料谷物 / 软商品畜禽) + 金融只报告。族 × 因子异质性 (≈90 因子 × 5 族, 块自助): 族专属因子只在有色 (多头集中度×虚实比、VPIN、VPIN×负动量) 与油脂谷物 (120 日基差动量、VPIN) 出现; 统一因子在族内失效的清单已列 (油脂谷物中基差/期限结构/仓单项失效, 黑色中仓单项失效)。7 种族模型 vs 统一 v2.9b (ALL 1.81): 族中性 1.19、族专属项选择 0.85、族专属+增补 0.86、层级收缩 1.17、族间配置 0.86、族时序 sleeve 0.16、LightGBM lambdarank 统一/族 −0.05/−0.17 → 全部劣于统一模型; 200 次随机伪族安慰剂 (同规模、完整重跑选择与回测) 中真实族划分的增量位于 0.000/0.045 分位 — 不是自由度假象, 而是族内排名丢掉了统一模型赖以获利的"族间相对定价"信息 (族中性即损失 0.34 Sharpe; v2.9b 收益对族方向回归 R² 0.15, 不是族方向押注)。结论: 族专属模型不优于统一模型, 生产不变。4 张 PIT 表 52 因子 (tick 订单流: 签名失衡、大单失衡、VPIN、尾盘/夜盘失衡; 农产品气象: 降水/温度 z、热浪/霜冻日; 交易所公告: 提保/限仓/风险提示/手续费; 政策事件净方向/关税/收储): 全市场 FDR 零通过, 最强为 VPIN×负动量 (p 0.002, 残差 t −3.1, 未过 BH); WASDE 发布日农产品超额 +4.2%/年 (报告)。红队续: 面板重建一致 (Δ=0); 纸面账续核仅冷启动两日差异; 族模型 DEV→MID 衰减比 2.1×/1.8× (过拟合疑似)。过程披露: DRYRUN 验证再次因 shell 转义失效致月度链误实跑 1 分钟 (未到写盘步, 面板未变, 已终止); 已改为环境变量注入并验证。报告 audit/fw21/fw21_report.md, 表 framework_fw21_*, 累计试验 34,241。fw20 全面红队复核 (fw02–fw19) + 7 个新方向: 预注册 audit/fw20/PREREG.md, 判据先写定、只读生产表。生存性闸门 (v2.9b): 随机词典安慰剂 200 次 (同规模高频词词典走同一构造与引擎): 真实 MID+HOLD 增量 0.390, 安慰剂 p95 0.218 / 最大 0.273 → 分位 1.000; 随机方向孪生 1,000 次: z = 7.4 (全样本) / 4.4 (中间+留出); HMM 状态块自助 1,000 次: J1 增量分位 0.994。搜索偏差: Deflated Sharpe 以累计 33,586 次试验计 0.999 (合成) / 0.998 (基本面); CSCV 36 候选 PBO 0.094; 15 个采纳脚本静态审计 23 处晚于开发期的日期常量全部为分段哨兵; 留出期被观察 397 次, 留出段单独 DSR 仅 0.09–0.26 (留出期功效弱, 决策一律按开发期规则)。PIT: 14 项 + HMM + VRP 可得时刻逐项有据; 文本按 publish_ts<15:00 加严 Δ=0; 知数 as-of 版本重建 Δ0.02; 标签抽样 20/20; 51 因子时间穿越扫描 0 可疑。记账: 不依赖引擎的显式循环复算 max|Δ| 1e-17; 涨跌停日换手 0.28%; 容量披露。覆盖层压力: 高波态 VRP 最差 10 日 ×3 后 J1 MDD −4.9%→−7.8%, 保证金峰值 8.1% 权益; 状态滞后 5 日增量仍 +0.45。FAIL 项 (如实): ① 语料 32% 为转载重复, 去重后文本块入分 HOLD −0.16 — 但去重版独立仍过采纳规则 (DEV +0.146 / HOLD +0.485), 结论: 信号部分为"注意力/传播加权", 生产版保留含重复口径并如此标注; ② HMM 10 种子 × 3 拟合窗: 一致度中位 0.87, 但个别组合 J1 增量为 0 (边缘); ③ fw10/12 "二阶导无信息" 偏强, 11 个二阶项 mean|t| 2.31 (弱但存在); ④ NBS 官方供给同比残差 t 已增至 −4.0, 入分复试 DEV +0.04 仍不过线 (拒绝); ⑤ fw15 GRU 相关 0.74 对当前 v2.9 为 0.71 (成立)。新方向 7 个全部否决: 期权偏度 carry (−1.09)、IV 期限日历 (1.03)、VRP 按 IV 分位 sizing (1.80 < 2.00)、格兰杰 lead-lag 网络 (IC 0.01)、整数关口锚定 (负)、在线贝叶斯 sleeve 权重 (2.42 < 2.54)、面板池化权重 (0.80)、词典扩展 (1.55 < 1.81)、Kelly 分数 (0.503 < 0.528)。过程披露: 验证链语法时 DRYRUN 变量尾随空格致月度链误实跑 2 分钟 (面板重建, 无损坏, 已终止); fw19 拼接残留的 CR 字节路径 (每月必失败) 已修; 一处 pandas update 不新增列的假结果被发现并重跑。月度链 R49 固化 5 项可复跑红队检查。报告 audit/fw20/fw20_report.md, 表 framework_fw20_*。fw19 状态条件化 + 全库自动挖掘 + 协整套利 + 文本主题 + 非线性/多尺度 → v2.9b: 预注册 audit/fw19/PREREG.md; 本轮 30,499 次试验 (累计 33,575, framework_trial_ledger)。T1 状态条件化: 6 个状态变量 (HMM2/HMM3/波动/离散度/Daniel–Moskowitz 动量崩溃/吸收比) × 48 因子条件 IC 288 格 (下行β在高波态翻正最显著, MID 普遍衰减); 条件权重得分 7 候选、状态切换配置 2 个、马尔可夫切换回归、DM 动态缩放: 均未优于 J1 (cond_s_hmm3 字面过线但 MID/HOLD −0.12 且 DEV 内 66 个二元选择, 否决); 91 个 sleeve × 6 状态矩阵 framework_fw19_sleeve_state 复证"高波态 基本面/趋势失效、VRP 爆发"。T2 协整统计套利: 30 对 + 2 三元, Engle–Granger+Johansen 双门只有 CU-AL 通过, 留出期 −0.66, 第四 sleeve 否决。T3 全库自动挖掘: 知数 PIT 序列 1,958 + enriched 5,274 = 7,232 序列 × 变换 27,178 个时序检验, BH-FDR 通过 0; 8 类目 × 4 变换复合 32 个截面因子, 7 过协议、3 独立, 入分 MID 崩溃, 否决; 新覆盖 51 个此前无库存同比的品种 (序列已入库 temp/fw01/fw19_series_cache.parquet)。T4 文本主题 (12 词典 × 72.9 万篇): 15 因子中 3 个过协议且独立于关注度/共识 (供给扩张叙事、抛储收储叙事、成本利润叙事); 严格版 (主题词须靠近品种名) 命中率降至 2–4% 且不过线; 三项合入得分: 开发期 2.063→2.170 (+0.107 贴线), 中间期 1.10→1.44, 留出期 0.98→1.62, CAGR@MDD20 0.225→0.320 → 临时采纳 v2.9b (14 项), 标注: 词典宽松、机制未解释、开发期弱 (2011–14 语料仅数十至数千篇/年, 2015 起 5–6 万篇/年), 月度链带自动回退检查 (v2.9b 落后 v2.9 >0.1 即 REVERT WARNING)。T5: 13 项因子 U 形/互信息检验无非线性信息; 多尺度分带 60–250 日带承载主要 IC (t 3.5) 但带滤得分不增。v2.9b 生产 (J1 覆盖层, 2018–26, 6bp, 名义 ≤ 权益): Sharpe 2.54 (开发 2.68 / 中间 2.43 / 留出 2.35), MDD −4.9%, 无杠杆 CAGR 11.2%, CAGR@MDD20 ≈ 53%; 最佳 24 月占 32%、滚动 36 月最低 +5.7%、年份 100% 正; 纸面账与回测相关 0.9979。实盘脚本已切 v2.9b (文本步失败自动降级为 v2.9 并告警), 文档库每日 17:20 更新早于 21:55 信号任务。报告 audit/fw19/fw19_report.md。fw18 跨学科方法扫描 → v2.9: 预注册 audit/fw18/PREREG.md; 6 个学科域 37 个新因子 (博弈论/参与者结构 G1–G8: 产业套保压力、投机-套保分歧、外资、LSV 羊群、集中度不对称、知情会员追踪、监管提保干预、CFTC 管理基金; 物理 P1–P6: Hurst/DFA、排列熵、吸收比、产业链动量、超指数增长、基差 OU 半衰期; 统计 S1–S4: HMM 状态、Hill 尾指数、经验贝叶斯收缩、分歧度加权; 经济 E1–E6: 库存理论残差、进口平价、信用脉冲、钢铁 PMI、实际利率、BDI; 金融 F1–F8: 基差动量、MAX、52 周高点、CGO、特质波动、下行β、波动的波动、换手; 心理社会 Y1–Y5: 关注度脉冲、机构共识及其变化、散户大赛盈亏、节前效应), 138 个单因子检验 (BH-FDR 5% + IS/OOS 同号 + 年同号) → 通过 6 / 独立簇 2。采纳 2 项: ① P6 基差 OU 收敛量 入得分为第 11 项 (开发期 Sharpe 1.956→2.063, 留出期 1.023→0.968, 边缘采纳, 月度链监控); ② S1 HMM 市场状态覆盖层 (2 态高斯 HMM 只用 2011–18 拟合, 之后纯前向滤波; 高波动态下基本面 sleeve 0.26 vs 平静态 2.54 的 Sharpe 差在开发/中间/留出三段一致, 趋势同样失效而 VRP 反而更强) → J1 映射: 高波动态 基本面 ×0.5 / VRP ×1.5。三 sleeve 合成 (2018–26, 6bp, 名义 ≤ 权益): Sharpe 1.59→2.01, MDD −8.8%→−5.3%, 无杠杆 CAGR 9.5%, CAGR@MDD20 ≈ 40%; 最佳 24 月占比 35%、滚动 36 月最低 CAGR +3.2%、年份 100% 正。否决: G 组参与者因子无一过 FDR; S2 尾指数独立但入分退步; S3 收缩 λ=0 退化 (10 项权重差不可区分); S4/P3/E3/E4 不足。过程纠错: 首版覆盖层按当日状态乘当日收益 (1 日前视), 已改为状态滞后 2 日 (v2.8 单独 1.49→1.70 而非 1.79), 旧值留表标作废; 实盘信号脚本首版双重滞后 (state T−4), 已改为 as-of-T 进权重 + 引擎 lag 2, 纸面账与回测相关 0.9986。边界: J1 在高波动态加大空波动率敞口, 恰是跳空/涨跌停/追保风险最高的状态, 日结算盯市低估该尾部; HMM 单种子; 知情会员因子为近似实现; 10:47 启动的月度链被终止 (0x40010004), 14:30 重跑覆盖。报告 audit/fw18/fw18_report.md, 实盘状态表 framework_market_state_daily_fw18, 累计试验 3,076 次 (framework_trial_ledger)。fw17 缺失数据补全 + 遗留清零: 文本挖掘 +13 规则 (97,412 篇本机语料): 镍社会库存 14 周 (2022 起, 吨→万吨归一)、苯乙烯港口 38 周、锡社库 16、氧化铝 23 (口径混)、乙二醇港口 53、碳酸锂 26、短纤库存天数 33、烧碱 11、沥青库存率 40、PX 15、生猪出栏均重 107 → text_mined_inventory_weekly 6,951 周行; 首次重建的 吨→万吨 漏网 (循环变量被改写) 已修并重建, 当日 14:30 一次性重跑月度链以刷新面板。仍不可补 (无登录公开源已穷尽): 鸡蛋库存天数、2013 年前农产品社库、生猪出栏结构。遗留清零: 趋势 sleeve 单品种上限 10% (预注册通过, 最大份额 0.19→0.11, framework_trend_cap_fw17); VRP 末月到期改日历口径; 纸面对账表 framework_paper_ledger_fw17 (与回测相关 1.0000, 留出期 fund 1.02 / trend 0.79) 每晚 21:55 更新。报告 audit/fw17/fw17_report.md。检验报告 audit/fw01/framework_validation_report.md, 改进版框架 v2.8 conclude/reports/futures_analysis_framework_v2_20261018.md(均在 futures_data 策略系统文件直取内)。条件桶不含成本; 未经独立复核, 不构成上线依据。 |
| 第三十三次反馈(2026-10-17 午) | 访问权限变更(所有者裁定): 持任一有效 token(访问密码经 /auth 所得)即同时拥有全部数据、strategy_catalog 与 /strategies/*(全部本地策略、训练模型与文件直取)访问权, 无需另行申请; 自第三十四次反馈起 /auth 只返回一个通用 token。 R1 PIT 单因子重算(固定合约标签): 新表 futures_research.pit_single_factor_diagnostic_summary_fixed / _annual_fixed: 标签改为 T+1 开盘入场、持有期内合约固定(同一主力合约自身开盘价, 不跨换月拼接), 与原面板标签相关 0.92; 原 224 个 RESEARCH_PROMISING 组合在固定标签下剩 159(126 失、61 新), ret_20d 20 日均 IC 由 −0.032 变 +0.002(原"反转"主要来自换月跳价), realized_vol_20d 负相关基本消失。新表 pit_feature_design_dates(371 特征的首版本与设计日 2026-05-17~05-19, 依据为重建脚本序号/日期): 对设计者而言只有 2026-05-19 之后才是样本外, 已随 summary_fixed 带 design_date 列; 原表不改。R2 能源状态模型多口径: energy_state_backtest_metrics_ext(全部行 / 排除换月窗 / t+1 入场 / 非重叠): FU 44%、LU 85%、SC 89% 的行在换月窗口, 原 provisionally_validated 只在排除换月窗的子集成立(FU 20d 全部行 IC 0.034 t 2.0 但非重叠 t 0.17); 原表 validation_status 已撤销为 not_validated_roll_window_only / not_validated, 旧值留 validation_status_prev + validation_note。R3: pit_big_move_episode_v1 改为不含 v26 分数列的视图(底表 _full 保留, 分数单独放 _v26_scores 并注明禁作训练特征), 生产脚本同步改。R4: wasde_cells_v.market_year 还原 "2025/26 Est." / "2026/27 Proj." 类年度, 新列 market_year_status(Est./Proj./Prel./final); market_year 空 746,035 → 149,156(余为 region_header 本身为空), 2026-10 世界大豆表 385 行 0 空。R5 贵金属计分表: 汇总表加 Newey-West(按日均值序列 lag 9)与非重叠(10 相位中位数)t 值: 合并顺向 10 日 +1.40%, 朴素 t 3.22 → NW 2.72 → 非重叠 1.73; 20 日动量基线 NW 0.99; 口径说明写在 note 列, 朴素 t 不再作为证据引用。 R6: text_facts_extracted_v.fact_suspect 扩至 value_text 含"元"的库存/产能/仓单/开工率行(2,416 行), 新列 value_fixed_clean(fact_suspect 或 product_suspect 命中置 NULL, 原 value_fixed 不动); 品种规则最小追加 "产糖"→SR 后, 甲醇库存万吨 clean 最大 963, >1000 万吨剩 0 行。R7 补充情绪维度: 新表 global_macro.gdelt_tone_daily(GDELT DOC API 日度语调/篇数, 全球英文新闻, 非中文舆情)与 wiki_pageviews_daily(维基 en/zh 条目日浏览量, 2015-07 起), 每晚 GlobalExtras R13 增量 + R14 回填(GDELT 限流 429 严重, 2017–2023 分晚回填中, 当前覆盖以 /freshness 为准); 两者均为观察性补充, 未验证与收益关系。 |
| 第三十二次反馈·补做(2026-10-17 凌晨) | 所有者要求把全部"未做/待排期"项做掉: 黑色预测驱动接续: 新桥接 refresh_ferrous_pit_chain_from_foundation.py 按 18 条驱动→基座结构化源映射(西本周度库存 / 知数 铁水·发运·PMI·汽车·空调·地产·基建·电厂日耗与库存 / 230 家焦企开工 / 东财交易所库存 / 高炉利润)每日为 ferrous_pit_chain_series 写新 run(source_batch='foundation_bridge', source_level 标 exact / proxy_caliber / proxy_scope), 未映射驱动原样搬运保持过期; 已挂入 06:00 黑色自动更新链 p2268 之前。重跑后 n_drivers_fresh: HC 4 / I 4 / RB 4 / J 2 / ZC 2 / SS 1, JM/SF/SM/NI/WR 仍 0(矿山/合金/锰矿/镍矿无免费结构化源); 代理口径(45港→全国主要港口、热卷总库存→社会库存、螺纹厂库→重点钢企钢材库存、全球发运→澳巴发运、焦炭全链→钢厂+港口)在 driver_scores 的 source_level 逐行可见; 映射表 futures_inv.db::ferrous_driver_source_map。预测仍 degraded/observation_only。作物天气多点多源: global_macro.duckdb::crop_weather_points(8 区域 20 点: 美玉米带 6 / 巴西大豆 3 / 马来棕榈 2 / 东北 3 / 华北小麦 2 / 新疆棉 2 / 广西糖 2) + crop_weather_daily(172,200 行, 2015 起, Open-Meteo ERA5 与 NASA POWER 两源) + 视图 crop_weather_region_daily_v(点均值→源均值, 带 source_spread_pct)。实测 Des Moines 2026-09 降水 OM 246 / POWER 205 mm(比 1.20); POWER 最近 4 天为填充值已置 NULL。每晚增量。USDA PSD / FAO 食品价格指数: usda_psd_alldata(2,094,635 行, 全量, release_month 自 2026-10 起按月留 vintage, WASDE 后一天拉) / fao_food_price_index_monthly(1990-01 起 6 指数 2,646 行)。油脂预测任务: 评估后不注册——其首步 farmbucks 油菜籽报价源页已漂移必败(rc=2); 维持 23:30 存档兜底, 不产新预测, 如实标注。 文本事实品种标签: text_facts_extracted_v 加 product_suspect(snippet 含他品种关键词且不含本品种 → 'product_label_suspect:XX', 22,594 行; MA 534); 排除后 MA 库存万吨最大 1,294, 剩余为真实标签行, 未扩规则。知数单序列筛选平移对照(第 29 轮待做): run_p2269_zhishu_full_screen.py 加 t_shift_max / shift_control_pass(序列 ±1/±2 期平移后 |t| 的最大值; 原口径不改): 2,823 项有效测试仅 413 项(14.6%)通过平移对照, FDR 幸存 2 项均通过, 总判定仍 NULL。空壳库: 创建者仍未定位(9-23 目录快照已记录过同名 0 字节文件, 为复发型); GlobalExtras 开头加守卫把 datasource/db 下 0 字节库移走并记日志。 |
| 第三十二次反馈(2026-10-16 深夜) | 中5/R5 futures_research 查不到表(已修): 根因是 G:/datasource/db/ 下出现一个同名 0 字节空壳库(今日 17:54 生成, 创建者未定位), 注册表先扫该目录把 information 下 20 GB 真库遮蔽——已移走空壳, 注册表改为 information 优先且跳过 0 字节文件, /dbs 新增 shadowed 字段(当前为空); 54 张表(含 strategy_hypothesis_families)现可 /sql。中1/R2 油链状态模型多口径: 新表 futures_research.db::oil_chain_state_backtest_metrics_ext(54 行 = 3 品种×3 视距×{same_day, delay_1d}×{all_rows, roll_excl, nonoverlap}); roll_excl/same_day 与原表 IC 逐行复现差 0。结论: 全部行与 t+1 入场口径下 BU/PG 的 IC 为负且更差(PG 5d: roll_excl +0.005 → all_rows −0.056 / delay_1d −0.069; BU 20d −0.085/−0.084; PG 20d −0.149), 非重叠 |t|<1.6; 原表 production_eligible=0/not_validated 维持, 该模型无效, 与使用者结论一致。中2/R1 模型快照追加存档: 新脚本每次把 oil_chain_state_snapshot / oil_chain_horizon_forecast / ferrous_forecast_summary / ferrous_forecast_driver_scores / oilseed_complex_horizon_forecast 全部行按内容哈希去重追加到 futures_inv.db::<表>_history(archived_at / run_key / content_hash); 已挂各产出脚本末尾 + 兜底任务 23:30; 首次存档 317 行, 历史从今天起, 此前被覆盖的版本无法追回。中3 ferrous_forecast_summary 加 fundamental_status(10 品种 all_drivers_stale / 1 partial)与 n_drivers_fresh; 57 个过期驱动全部来自 7 月上旬一次性回补的研报转载源, 无定时接续, 当前黑色预测实际只有行情分——未恢复上游, 如实标注。中4/R3 oilseed forecast_low/high 空串 60 行→NULL, 产出脚本同步; 该产出的注册任务已停用, 现由 23:30 存档兜底(不产新预测)。 中6/R4 甲醇库存>1000(已修, 根因不是单位): 25 行 value_text 是 '8100元/吨' 等价格, 单位推断把 snippet 里的"万吨"优先于值自身的"元/吨"。视图 text_facts_extracted_v 重建: 单位推断改为 unit 列 → 值自身单位 → snippet; 新列 fact_suspect('price_as_nonprice' 2,164 行, value_fixed 置 NULL); 'native_inv'/'inventory_units' 占位单位→NULL(unit_source='native_series_unit_unknown', 7,333 行)。剩余 MA 万吨最大 6,062 是上游品种标签污染(铝土矿/糖的 snippet 被标 MA), 未重映射, 用 snippet 自行核。所有者模型评估: ① 贵金属短期预测: 新表 precious_metals_research.db::precious_forecast_scorecard(逐期, 124 条 short_1_10d 对预测所指合约自身收盘计分)+ _summary: 120 条到期中 85 条有方向, 方向命中 63.5%, 次日入场 10 日顺向均值 +1.40%(t 3.2, 重叠样本未修正, 有效样本约 1/10), 区间覆盖 84.2%; 同样本 20 日动量方向 +1.18%(t 2.9)、一直做多 +0.27%(t 0.6)——与 20 日动量不可区分, 且只有 2026-07~09 三个月, 不构成预测力证据; 每晚 21:20 随 GlobalExtras 重算并追加。② 油链: 无效(见上)。③ 研报一致预期/油脂预测: 同意使用者判断, 油脂预测历史自今日起存档。低: intraday_vendor_daily 加 oc_ret_simple(oc_ret 为对数、cc_ret_c2c 为简单收益, 三列口径在 pit_ext_table_keys 注明); contract_market_daily_v 加 is_continuous(AL.DCE/WH.ZCE 等无月份代码, 243,934 行, 按品种汇总请排除); zhishu_product_daily_versions 旧 build 的 available_rule 回填(T+1 前 4 个 build→'same_day' 830,637 行, 代码证据为 fb26 备份; 2 个不可考版本→'unknown_pre_rule_tracking' 419,365 行, 不猜); global_macro.duckdb::wasde_cells_v(世界表年度从 region_header 还原到 market_year +118,463 行, 剔除 379,733 行 NULL 孪生行, 原表不改); notice_features coverage_start_date 为 NULL 的 59 品种 = covered=0 源不覆盖(设计); CASDE 缺 2016-09/10、2018-12、2019-07 = No.3/4/30/37 源站无平衡表(已知无源); 天气单点建议已记入, 多点多源均值待排期。R6 新表 global_macro.duckdb::spdr_etf_holdings_daily(GLD 2004-11 起 / SLV 2014-12 起, 4,569 行)与 sge_benchmark_daily(上海金基准价 2016-04 起、上海银 2019-10 起, 早/午盘, 8,496 行), 源 akshare, 每晚 21:20 增量。R7 fund_share 今晚加跑一班: 2,189→3,046 个交易日, 2016 已满, 2017-10 末至 2018 全年共 299 天在明晚 19:40 一班清完(顺手修了进度表写失败的保留字 bug)。 |
| 第三十一次反馈(2026-10-16 傍晚) | R1 海外复权: 使用者判定正确——此前只用现挂牌合约拼接, 64% 复权日收益为 0。overseas_front_adjusted_daily 重建: 仅 front/next 存档起(2026-10-13)的 68 行有复权值, 其余 146,060 行 adj_close=NULL、adj_status='no_expired_contract_source'; 到期合约历史无免费源: ICE 报告中心结算报表需 reCAPTCHA、API 409、历史包付费; CME 403。历史段换月唯一线索仍是 roll_suspect_stat。R2 contract_market_daily_v no_trade_flag 与 basis 统一(basis 非空即 flag=1), 20 随机日 tushare 零成交行标记率 3,180/3,180; AG1302 2012-08-03 命中。R3 text_facts_extracted_v: 缺失写成 0 → NULL(zero_as_missing 1,160); 推断单位 61,658(unit_source='inferred'); 吨/万吨拆分 487 行(甲醇库存修正后最大 33,170 万吨→3.3 万吨量级, 原 2,069,165 为吨); scope 关键词 2021–24 源 snippet 确无命中, 2025 仅 8 行, 非规则失效。R4 intraday_vendor_daily 加 oc_ret(开→收, 即原 cc_ret 口径)与 cc_ret_c2c(今收/昨收−1); 原 cc_ret 保留不改值但已弃用(pit_ext_table_keys 注明); M2405 2024-01-03: oc −0.3077% / c2c −0.0924%。R5 新表 global_macro.duckdb::bdi_daily(9,561 行) 与 sge_spot_daily(Au99.99/Au99.95/Au(T+D)/Ag(T+D)/Pt99.95, 11,876 行; Au99.99 与沪金主力日收益相关 0.966), 每晚 21:20 增量。USDA PSD 全量 zip / FAO 食品价格指数 / Open-Meteo 预报 均可免 key 接入, 待排期。R6 fund_share 回补提速(每班 60→300 天, 实测无限频错误): 现 2,189 个交易日, 待补 1,156 天, 预计 2026-11-05 补齐; 进度表 fund_holdings.duckdb::fund_share_backfill_progress。低: tdx_bars_5min 注明仅下载时挂牌合约、非历史分钟库(历史用 /main1min); FG/JD/LH/SH 以折算后现货纳入 spot_basis_daily_pit(基差中位 +6.6% / +1.5% / −0.8% / +3.9%)。自检: 发现两张新任务(策略快照、CASDE 月度)注册时参数被转义损坏致从未运行, 已修复并手工补跑(rc=0); 昨晚 22:00 PitExt 的 orderflow 步再次撞 futures_derived 写锁(另一进程), 待在 orderflow 步前也加锁等待。 策略: 使用者对 bigmove / sol_quant / FSS 的复核已按各系统治理规则跟进(预注册 R8、新增试验臂、变更请求、假设族合并), 结果见 /strategies/guide。当时策略端点对一般 token 返回 403, 该区分已于 2026-10-17 取消。『是否删除第 29 轮快照』仍待所有者答复。 |
| 第三十次反馈(2026-10-16 上午) | R1 现货单位: 新表 futures_inv.db::spot_prices_unit_map(品种×来源 120 行) + 视图 spot_prices_daily_v(spot_unit / spot_price_futures_unit / ratio_flag): 100ppi_xqb 源的 FG(元/平方米 ×80, 5mm 浮法 12.5kg/m², 厚度口径依源)、JD(元/公斤 ×500)、LH(元/公斤 ×1000)、SH(32% 液碱 ÷0.32 折干) 折算到期货单位; akshare 源的同品种本就是期货单位(中位比 0.96–1.2)不折算——系数按来源生效; 剩余 ratio 异常 510 行全为 FU(品级差非单位)。R2 fundamentals_text.text_facts_extracted_v(原表不改): 开工率 ≤1 的 ×100(scale_fixed 4,200)、unit 从原文补 76,073、去重 559、甲醇 27 倍差异 = 港口库存(最大 206 万吨)与企业库存(最大 1.07 万吨)混列, 新 scope 列(port/enterprise/social/unknown)分离。R3 text_corpus_raw_v: is_structured 295,167 / 自然语言 83,578; 无标签行按知数同套别名新打商品标签 2,100 行。2024 年前商品新闻: akshare 新闻联播文本 2017 起可用(每日 11–17 条, 含商品词 0–3 条/日), 2017 前无; 本轮只评估未采集。R4 notice_features_daily: 源覆盖的 20 品种内 NULL → 0(78,558 行), 加 covered 列, 范围外 59 品种保持 NULL/covered=0; policy_features_daily 稀疏(3.3% 品种日)已在 pit_ext_table_keys 注明。R5 contract_market_daily_v 加 no_trade_flag + no_trade_basis('official_close_zero' = 郑商所官方 close=0 而表内为结算价, 2026-09-30 的 57 行全部命中, 全量 125,092; 'volume_zero' 107,893); overseas_exchange_daily_v 加 roll_suspect_stat(|ret|>15% 且落 CME 换月窗: HE 32 次命中 31、NG 31 次命中 26), 新表 overseas_front_adjusted_daily(逐月合约 OI-max 拼接比例复权, 24,046 行/23 品种; front 存档 10-13 起, 之前全 provisional)。R6/低: EIA 现货回刷近 100 天, 3 条修订入 _revisions(喷气燃料 07-13 3.379→3.351 命中); fund_share 实测可取 2013(518880 自 2013-07-18), 起点改 20130101, 积压约 1,400 天由每日任务按 60 天/班最旧优先补齐(未验证完成); opt_daily_raw_v 加 cp/strike/underlying, 解析不了的全为沪深 ETF 数字码(期货期权行仅 0.10%)。策略库: 按所有者要求已补齐构建过程/原理/框架/思路/内部结构, 并扩到本机全部策略系统; 详情见 /strategies/guide。使用者问的『是否删除第 29 轮开放期间的快照』待所有者答复。 使用者独立来源核对(contract_market_daily vs tushare/上期所官方 100%、CFTC、PMI、NASA POWER、EIA vs FRED 99.96%)记入审计, 感谢。 |
| 第二十九次反馈(2026-10-16 晨) | R1 实盘曲线: 使用者所指曲线口径问题已核实并更正(说明见 /strategies/guide)。策略库访问方式当日曾临时调整, 已于 2026-10-17 取消: 一个 token 通用全部数据、策略与模型。 R2 后置/前置: 新表 data_catalog.db::zhishu_shift_series_notes(52 条): 与基序列交叉相关实测, 51 条为 value_placed_later(把 t 期值放到 t+N 显示, 值早于显示日期已知, 无前视), 位移与标题 N 全部一致; 1 条基序列不存在无法判定。排除它们是保守但不必要的。R3 通用映射: 新表 zhishu_product_map(全部 69,541 条知数序列 × 复合同一套别名/类别规则: products / category / alias_hit / in_scope_l2 / is_geo / is_foreign_src / in_pit / in_composite), 映射到 ≥1 品种 6,308 条(使用者关键词法 923 条), 每晚随知数任务重建; 地名/境外/企业级序列用 is_geo / in_scope_l2 自行过滤。低: zhishu_catalog_notes(indicator_status 实测含义、重复标题 685 组/1,437 行按 source/freq/path 分类、13 条未来 end_time 逐条); 期权视图实名 opt_greeks_full_norm(db_catalog 文案已改); fundamentals_text.text_signals_v(135 行截断 pub_date 在语料源同样截断, 可修补 0 行, 已标); futures_events.events_rule_v(加 code / exchange / product_code / is_option, 映射率 99.9%, 21 个新码中文名未映射); strategy_catalog 96 表的目录行已从公开目录移除(不外泄表名)。中3 方法提醒已采纳: 本机单序列 t 值筛选流程将加时间平移对照。 |
| 第二十八次反馈(2026-10-15 深夜) | R1 返回码: /freshness 任务行与根页新鲜度表加 rc_meaning(表 data_catalog.db::task_rc_meaning 23 行): 267009 = 任务正在运行(0x41301, 不是失败); Zhishu 4 = 会话过期需重登; ExchangeHoldingRank 2 = N 个(所,日)失败其余已入库; FundamentalDaily 1 = 研究链门禁未过(数据阶段已完成)。R1/中2 停更表: 新表 data_catalog.db::table_status_notes(1,444 行, 每表一条; 公开端点 GET /tables/status?db=&stale_class=): 带日期的 ok 表中 date_max<2026-09-01 的 174 张分为 design_frozen 134(冻结快照/研究产物/被取代表/审计留痕) / collector_failed 16(东财研报 PDF 08-23 起被拒 2 张; big win 月度任务未产新行 14 张) / source_stopped 5(LIBOR、tushare fx_daily 权限、东财 FDI 2023-08 后停、9 月 LPR 上游未出、财政税收 8 月未入) / quarantine 17; 另 live_normal 380。注意 date_max 两种字面格式(YYYY-MM-DD / YYYYMMDD), 比较前归一。R2 未来/过早日期: 同表 future_note(27 张全部注明: 日历窗口与计划事件、源端预测期值(知数最远 2035/冻结副本 2085)、统计局发布日程推算的 publish_date、源站次日提前挂出的研报、2027-01-01 为远期规划按年粒度记元旦、Open-Meteo 预报行按 data_role 过滤、2029-09-01 源站笔误已隔离、2026-27-01 手输非法即隔离原因) 与 early_note(34 张: release_log_mysteel_v2 的 1970-01-01 为时间戳 0 畸形行 1 条, 其余为 FRED/世行/气候/知数等长序列真实起点)。隔离表: 46 张 quarantine_reason 全部写明(SMM 重缩放 p6102 / 手输日期 p6115 / 复制面板行 p6124 / 日期孪生 p6125 / 旧副本 p6127 / 源站笔误 p6128 / 前视特征版本 lookahead_20261004 …; 唯一未找到文档的 profit_daily_quarantine_p6136 如实标注)。空表 57 张与 无日期列 641 张亦有 note。R3: sector_price_daily 加回 ret_ew 列 —— 语义已变: 现为复权等权均值(与 ret_median / ret_trimmed_mean 同成员集), 不是旧的未复权; 2019-12-03 农产品 ret_ew=+0.147%。R4: 新表 data_catalog.db::db_catalog(45 库一句话"适合什么研究"+优先级, /dbs 已带 purpose/priority); 期权优先: futures_options.db::opt_daily_raw 逐合约 2,674 万行 + opt_greeks_full/_norm(iv/希腊字母) 做尾部保护与偏度, option_daily.db::opt_daily 多 OHLC; futures_events.db::events_rule_raw 2020-06 起保证金/涨跌停/乘数日度(公司保证金口径)。自检: 昨晚 22:00 PitExt rc=1 是 sector_price / orderflow 两步撞 FuturesDerivedDaily2200 的 futures_derived.duckdb 写锁(非数据问题), bat 已加锁等待步并补跑(sector_price_daily 到 10-15; orderflow 到 10-14 为 T+1 tick 口径的当前最新)。 策略库访问方式见第三十三/三十四次反馈(一个 token 通用)。 |
| 第二十六/二十七次反馈(2026-10-15 晚) | A 订单流方向(高): 属实——TDX tick 段 direction=-1 曾被表达式 greatest(d,-1)*least(d,1) 乘成 +1, 全部变主动买(signed_imb 均值 +0.978)。改为 sign(direction) 后重建 2026-07~10 四个月: orderflow_daily 744,578 行 / orderflow_main_daily 218,289 行; TDX 段 signed_imb 均值 -0.039(sd 0.148), vpin50 0.24(vendor 段 0.48, 口径差: TDX 真实逐笔 vs vendor 快照推断)。新表 orderflow_source_calibration(158 行): 用 1 分钟主力 bar 的 tick-rule 作第三方基准, pooled 相关 vendor 段 0.45/0.48(pearson/spearman, n=9,485) vs TDX 段 0.42/0.43(n=3,588), TDX 仅低 ~0.03, 接续有效。B 复合可得日(高): zhishu_product_daily / components 的 available_date 一律 = trade_date 后第 1 个交易日(成员只有日期级可得、无盘中时刻, zhishu_series_pit.release_time_known=false), 有效行 100% available>trade(51 行日历外 NULL+beyond-calendar); rule_version=2026-10-15.fb26, 被覆盖的 fb24 版进 versions 表。板块表随之 T+1。C 排名/利润(高): days_since_source_switch 切换前为负交易日距; position_rank_source_switch 7 行新增两条说明: SC 无源(INE 官方 pm 文件与 tushare 均不含 SC 排名)、EC 自 2026-04-28 起官方 pm 文件不再含 ec(实测 pm20260428/0506/1014, 非采集失败)。INE 2020-03-04~05-15 的 11 个官方文件只有 13–19 个合约行(nr 单品种稀疏期), 原 20 行门禁判缺失; 经所有者批准改为按所阈值 INE=5/其余 20, 11 天已入库, 采集任务 rc=0。profit_daily_pit 99999999 哨兵 0 行(全在日历内); 新表 profit_daily_pit_flag_dict(9 个 flag 释义取自 profit_meta/derive 脚本); WH_IMPORT_PARITY 2005-01-03 -10.89 → 01-04 1643.7 为源表 profit_daily 自身尺度断点, 值不改, 释义已注。D 宏观发布日志(高): macro_release_log_cn 重建 3,425 行 / 40 事件: 剔除境外与首轮误收的 1,019 条"中国香港*"; 新列 actual_num/actual_unit(forecast_/previous_ 同组)、release_time_std+time_std_basis(官方 PMI 09:30 按统计局日程、财新 09:45, 其余保留日历源值)、ref_period(3,306/3,425; 119 条政策公告/发布会无参考期)、release_is_trading_day / first_tradable_date / first_tradable_session(非交易日发布 398 行→下一交易日 day); stats 表加 share_non_trading_day。无源: 财新 PMI 历史发布时刻为收费源; 社融实测发布时刻仅央行"数据解读"栏目 2025-08 起(回补 43 行 source='pbc.gov.cn'), 2015–2019 不可得, eco_cal 的 publish 为推断。E 代理/异常/中钢协/板块(中): macro_nowcast_proxy_map 43 行: 月频滞后下限 20 天(lag_basis=freq_rule_floor)、FBX/进口干散货 side='freight'、大秦线 5 条以 is_primary 标主序列、补(停)六大发电集团耗煤 2 条与城市轨道交通客运量全国月度 1 条; 水泥出货/建材成交/挖机小时仍无源。zhishu_series_anomaly_flags 118 行: 指标 1962 按反馈原文">中位数 2 倍且下期回落"命中 45 行(全部落在月末, 为月度合计混入周度; 用 2.5× 只命中 15 行, 故按 2.0× 并披露), 原值未动, proxy_map 带 n_anomaly_flags。cisa_xunbao.period_date 257 行旬日修正(上→10 日/中→20 日/下→月末); cisa_articles 为视图(实表 cisa_xunbao_articles, 843 行)。板块: sector_price_daily 改复权连续收益 + ret_median / ret_trimmed_mean / n_dropped / n_roll_suspect——2019-12-03 农产品 +65% 元凶是 FB1912(96.5)→FB2005(1409.5) 主连切换未复权, 新口径当日 ret_median=+0.32%; 新表 subsector_fundamental_daily(448,030) / subsector_position_daily(67,905, 按 sector_template 细分); sector_product_map 10 个 unknown → delisted_or_alias 带 note; sector_fundamental_daily 加 coverage_ratio(2026-10-14 库存类: 黑色 0.67 / 化工 0.37 / 农产品 0.04)。F 新鲜度/登记: /freshness 的 pit_ext 逐表扩到 17 张(+orderflow×2 / sector×2 / subsector×2, 每行 last_success_at), 新增 macro_release_log_cn / release_log_mysteel_v2 / cisa_xunbao / capacity_announcements_cninfo(一次性回填, frozen) 四行; continuous_causal_daily_ext 注明为 2005–2009 因果研究窗设计口径非停更; pit_ext_table_keys 41 张全覆盖; 目录重扫 44 库 1,444 表。macro_release_log_cn / release_log_mysteel_v2 此前标 GlobalExtrasDaily2120 但实际未挂步, 现已真正加入该任务(全量重建 / 当月窗口增量)。R2 农产品供需(fb27): 覆盖矩阵 audit/fb26/agri_coverage_matrix.csv: 27 个农产品中 production≥500 天仅 CY/LH/SP/SR, inventory 仅 SP/WH, operating 为 0, 进出口普遍; 候选 1,172 条已逐条审定: 年频平衡表类(玉米/大豆/小麦/棉花/豆油/棕榈油/稻谷 ~100 条)因 STALE_TD=45 设计上不进复合(年频在日网格上永远陈旧), 国别双边出口金额 ~600 条 / 企业经营数据 / 停更 / 鱼粉·饲料机械等不入; 只并入 3 条月频全国序列(rule_version 2026-10-15.fb27): 生猪定点屠宰企业屠宰量(423)→LH.consumption(n_series 1→2, 2008-12 起), 产量:饲料:当月值(10043)→C/M/RM.consumption(新复合, 1989 起), 海关苹果出口数量当月值→AP.import_export(新复合, 2021 起; 同名出口金额序列含价格效应未入); 复合 165→168, 上一版已归档。CASDE: 唯一正式表仍为 fundamentals_supply_demand.db::casde_balance_monthly(120 期 / 27,170 行, 含 OCR); 本轮新建的 data_catalog 副本(88 期)因覆盖不如存量已删, 新任务 CasdeMonthly(每月 12/20 日 10:00)接管月度维护。事故披露: 实施中 fetch_casde_monthly.py 曾被新采集器覆盖且未备份, 已以 10-10 字节码为准逐函数重建源码(18 函数 co_code 全等, 证据 audit/fb26/fetch_casde_monthly_bytecode_match.txt), 幂等冒烟通过。审计 audit/fb26/fb26_report.md / casde_fb26b.md。 |
| 第二十五次反馈(2026-10-15 午后) | 1 持仓排名 PIT: position_rank_unified available_date 改为 trade_date 后第 1 个交易日(交易所 15:30–17:10 公布), 新列 release_date / release_time_approx='17:10' / obs_date; 新表 position_rank_source_switch(SHFE 2010-01-04 / CZCE 2010-03-09 / INE 2019-11-26 / DCE 2020-07-20 / GFEX 2023-11-10: tushare → 官方) + 列 days_since_source_switch, 切换点附近净持仓比例日变化偏大请自行剔除。2 新鲜度: /freshness 的 PIT 扩展表改为逐表 11 行 pit_ext:<table>(intraday_vendor_daily 停 09-30 是 vendor 1 分钟输入停更, 单独可见)。3 external_overnight_daily 99999999 → NULL + beyond-calendar 标记(21 行)。6 新表 pit_ext_table_keys(36 表/视图的日期列名、含义、可得列、粒度、构建器), 列名不改。4 / R4 宏观代理: macro_nowcast_proxy_map 加 side(supply / demand / price / activity_survey)、release_lag_days + lag_basis(catalog 发布滞后或频率规则)、first_seen_note; 需求侧新增 电厂日耗(全国统调/重点/样本区域)、大秦线运量、FBX、进口干散货运价、挖机销量、30 城成交、乘用车零售 等(40 行; 地铁客运仅城市级 27 条未逐城入表); 水泥出货率 / 建材成交量 / 挖机开工小时 知数查无。R1 发布时刻: 新表 data_catalog.db::macro_release_log_cn(tushare eco_cal 全部中国事件逐期: 3,490 期 / 39 事件, 含 PMI / 社融 / M1 M2 / 新增贷款 / 进出口 / GDP …, release_date+time+实际/预期/前值) 与 macro_release_schedule_stats(发布日分布 / 时刻众数 / 收盘后占比: 社融 9–20 日 17:00 96% 盘后, M2 8–20 日 87%, 官方 PMI 月末 09:00(日历源口径, 统计局实际 09:30)、财新 09:45)。5 中钢协: 门户旬报散在 3 栏目, 最早 2020-04(社会库存)/2024-09(产量·企业库存), 2015 不可达; 文章页无时刻(time_source='portal_date'); cisa_xunbao 150 → 386 行; 2020-04~2023-12 的 136 期图片版旬报已用本机 OCR(rapidocr)补出 21 城 5 大品种钢材社会库存 134 期(value_source='ocr_png', 置信度 0.51–0.80, 识别原文留 raw/cisa/ocr/, 2 期纯图表无叙述句为 NULL); 注意该系列是社会库存(2023-12 约 720–740 万吨), 与 2024-09 起 PDF 文本的产量/企业库存旬报不是同一口径, 按 kind 区分; 文章索引 cisa_articles 843 行。7 订单流: vendor L1 快照止于 2026-06, 用 TDX 自采 tick(2026-07-01 起)接续: orderflow_daily / orderflow_main_daily 新增 2026-07~10 共 8,295 品种日, 行带 source('vendor_l1_snapshot_v2' / 'tdx_tick'); 方法差异: TDX tick 直接给买卖方向、无盘口列, 与 vendor 的 tick rule 不同且无重叠期, 只用日成交量与 bar_daily 比对(99.9% 在 2% 内, 8 行超差为 bar 端残卷)作一致性检查; 两段请勿混为同一分布。每日 22:00 增量。R2 行业指数: 平台已有 ashare_supplement::sw_daily(申万一二三级 2005 起 219 万行) / ci_daily(中信) / sw_index_member_all / sw_index_name_history / index_daily(新增 20 个中证行业指数全历史, 现 30 码) / index_weight; 新索引表 data_catalog.db::equity_index_catalog(1,313 行)。R3 板块汇总: 新表 sector_product_map(98 品种 → 黑色/有色/贵金属/能源/化工/农产品/金融/航运, 来自 product_master.sector_template) 与每日 22:00 重建的 sector_fundamental_daily(板块×类别 z_250 / chg_20_sd 品种中位数, n_products, n_fresh)、sector_position_daily(前 20 名多空合计 / 净比例均值与中位, available=成员最大)、sector_price_daily(主力等权收益)。 |
| 第二十四次反馈(2026-10-15) | 新: 数据新鲜度 根页顶部表 + GET /freshness(公开, 10 分钟缓存, 首次计算约 15 秒): 9 类数据的 max_date / 上次成功时间 + 8 个定时任务的 LastRun/LastResult(知数 SESSION_EXPIRED 会原样显示)。1 / R1 映射: 疏港量在 I 下只剩 consumption(EXTRA_MAP 命中后替代原 other 行); LH production 收紧为 生猪/能繁母猪 存栏·出栏 6 条(成本/户数/规模/单一公司剔除); 新类别 cost(成本/利润/毛利/盈亏, 3,493 行 30 序列, 只进 pit 不做复合); 规则版本 2026-10-15.fb24, build 20261015_090444。钢联五大品种表观消费: 知数无现成序列, 已按 Mysteel 定义派生 zhishu_derived_series(表观消费 = 主要钢厂产量 − Δ(厂库+社库), RB/WR 各 424 周 2015-08 起, inputs JSON 可核); 未进复合: 公开文章里分品种数值 0 期、合计仅 12 期, 达不到 ≥30 期一致率验证门槛; HC/中板/冷轧缺周频产量+厂库三件套。2 版本: '2026-10-14T15:46:16' 与 20261014_154929 逐列相同(首版归档代码把 archived_at 当 build_id), 已删, 说明在 zhishu_versions_note; all_versions 现 5 个 build。3 / R2 巨潮公告: 盘中时刻用 PDF 的 HTTP Last-Modified 补: pub_datetime_best / time_source(pdf_last_modified 2,136/3,845 = 55.5%; 2021 起几乎全覆盖, 2015–2019 仍只有日期); 103 条映射可疑行标 product_false_positive(绝缘子/电池片/医药…); 标题正则抽 capacity_value/capacity_unit(349 条); share_of_national 全 NULL(平台无分品种全国产能基准); capacity_events_cninfo_company_stats(罗平锌电 28 / 山西焦煤 24); cninfo_v 246 行, all_news_v 330 行; tushare 路的 3 张空表已删。4 发布时刻: v2 的 1970 行标 publish_date_invalid; 新表 release_time_reference_by_year(41 行: 聚焦 2018–19 周五上午 ~10:00 → 2020 起周四 17:30 → 2025 16:41); 2019 年以前首发时刻仍无源。5 宏观: release_map 加 is_primary(20215 为次要, 与 19157 同一事件); 新表 zhishu_macro_consensus_release_stats(发布日分布/时刻众数/收盘后占比, 由数据统计: M2 9–20 日不定, 17:00, 90% 收盘后; CPI 8–18 日 09:30)。7 / R5 首发时间: 知数 API 无逐点发布时间(只有最新一期); pit 加 available_kind: observed(first_seen 实测, 2,527 行) / inferred(滞后规则推断, 1,795,055 行)。R3 供给冲击源: 新采 中钢协旬报 data_catalog.db::cisa_xunbao(重点统计企业粗钢日产 + 库存, 2024-09 起 150 期, PDF 直链解析, 含发布时刻); 有色协会/隆众/卓创检修表需登录, 未采。R4 高频替代: macro_nowcast_proxy_map 26 行(20 个知数在更代理序列: 铁水/高炉/磨机/半钢胎/沥青/PTA 开工、30 城成交、乘用车零售、挖机、CCI、SCFI/CCFI…; EPMI 等 6 项查无, 原因注明)。自扫描: futures_pit_extension 另有 15 张 10-06 一次性构建的表(spot_basis_daily_pit / profit_daily_pit / position_rank_unified / intraday_* / calendar_spread_* / orderflow_* / policy_* / notice_* 等)自此未再构建, 所有者已批准: 新定时任务 PitExtBuildersDaily2200(每日 22:00, 静默, 等 21:15 知数构建释放写锁后串行重建 11 张: position_rank_unified / spot_basis_daily_pit / profit_daily_pit / intraday_* / calendar_spread_main_secondary_ext / continuous_causal_daily_ext / event_calendar_daily / weather_product_daily / external_overnight_daily / cftc_product_weekly; 首跑 10-15 10:28 rc=0 约 8 分钟, 多数表已推进到 20261014); orderflow_* / policy_* / notice_* / exchange_notice_pit 上游抓取未恢复, 标 frozen 不重建; 新鲜度表加 'PIT 扩展表' 一行。 |
| 第二十三次反馈(2026-10-14 晚) | 1 / R2 版本: 10-13 原表无备份(已查 _archive, 当时直接覆盖)——用 10-13 时点的规则代码在当前数据上重算, 以 build_id='rules_20261013_reconstructed'(rule_version '2026-10-13.fb20', 211,744 行, note 注明非原件)入 zhishu_product_daily_versions; 与 pre_20261014_unversioned 的 inventory_chg_20_sd 差异 5.2%(使用者测的 10-13 vs 10-14 上午为 13%, 即重算只复现一部分, 当日 21:15 知数增量不可逆)。新列 rule_version(当前 '2026-10-14.fb23', 规则变更才递增) 于 daily/components; 新表 zhishu_product_daily_components_versions(被替换版本的全部成分数值: value_used/z_250/chg_20_sd/…; 保留策略: 每个 rule_version 的最后一版永久保留 + 当前 rule_version 只留最近被替换的 1 版; 现含 20261014_154929 共 2,065,958 行); 视图 zhishu_product_daily_all_versions = 当前 daily ∪ versions(5 个 build_id, 1,042,279 行)。2 / R1 钢联发布日志 v2: 原因是搜索 API 每页 ≤5 且同窗口翻页返回重复项 → 改逐月窗口, 新表 release_log_mysteel_v2 1,861 篇(v1 176 篇保留): 高炉/铁水 500(2014-01 起)、聚焦 410、社库 343(2020-03 起)、铁矿港存 339(2020-08 起)、速递 269(2021-08 起); 新列 period_date / gap_days / repost_suspect(gap>14 天或同系列 ≥3 篇同一时刻, 高炉 66 篇为补发转载)/ source_site / content_snippet。逐年中位(audit/fb23/mysteel_release_by_year.csv): 速递周四 14:00 稳定, 高炉周五 08:30–08:33, 铁矿周五 08:36–08:38, 社库周四 17:30, 聚焦 17:30→16:19 逐年提前; release_time_reference 已更新。会员端首发时刻仍无源。3 / R3 宏观一致预期: 错配根因是按"同年"匹配(12 月数据 1 月发布被挂到前一年 1 月); 改为"发布日在观测月末后 1–60 天"并排除未来观测期 → 10 个指标全部通过 corr≥0.98(未降门槛; 此前 9 个 0.79–0.97 的低相关就是这个 bug 造成的), zhishu_macro_consensus_releases 127 → 1,103 期, 校验: 0 条发布日早于观测月末, 0 条未来观测。4 / R4 产能事件: 新表 capacity_event_origin 把 5,495 行按登记来源分为 numeric_fact(研报数值/序列点推断, 2,046: 如 '日均铁水产量' 正文含'检修' 被判为 maintenance) / news(3,449, 含 3,251 气象预警); capacity_maintenance_calendar_v 加 origin 列; 新视图 capacity_events_news_v(news 且非 UNKNOWN 品种, 84 行) 与人工抽检后的严格子集表 capacity_events_news_strict(31 行: 标题本身含该类型关键词且非摘要/否定句; 剔除原因在 _dropped 表: 45 摘要或无标题(含 22 条 sde_ 航运中断被误标 maintenance)、6 否定/评论、2 标题无关键词)。结论: 当前产能事件在 2026 年以前只有 8 条人工整理的历史事件, 新闻源(SHMET/tushare major_news/巨潮)本地库都从 2026-03 起。历史回填已换源为巨潮(cninfo)上市公司公告标题检索(tushare major_news 属"新闻资讯"单独付费权限, 5000 积分亦 40 次/天): 新表 capacity_announcements_cninfo 4,219 条(2015-01~2026-03, 关键词 停产检修/装置检修/复产/投产/关停/产能置换 等; drop_reason 标记 96 条误命中词 + 175 条程序性公告, 不删行), 与日常 cninfo 表重叠 80/81 一致; 时间戳多为日期精度(3,527/4,219 为 00:00:00, 不能做盘中时序); 品种由标题关键词映射 → 视图 capacity_events_cninfo_v 252 行(2015 起每年 14–35 条, FG 39 / JM 37 / ZN 35 / RB 21 / PF 20 / UR 19…; credibility=high, origin=listed_company_announcement; 映射有少量噪声如 玻璃绝缘子→FG、聚酯薄膜→PF, 请按 raw_title 复核); capacity_events_all_news_v = strict 31 ∪ cninfo 252。6 45 港周二值: 钢联公开文章无独立周二篇(v2 的 339 篇港存文章 208 篇周五, 周二仅 1 篇); 新表 iron_ore_port_inv_mysteel_articles(221 行, 从文章摘要抽取总量, 周五篇与 zhishu 6837 同周值 137/138 一致, 99.3%)仅作交叉验证, 周二值仍无公开源。7 映射: 247 家铁水/高炉开工率此前在别名阶段落选(标题无品种词); 新增 EXTRA_MAP: 铁水产量 → I/J/JM consumption + RB/HC production, 高炉开工率/产能利用率 → I/J/JM operating, 疏港量 → I consumption; 存栏/出栏 计 production(能繁母猪 451 → LH production)。重建后 pit 1,799,754 行 / 1,956 序列, 复合 165 个。 8 能繁母猪: 用 453 环比链乘回推, 公式在 151 个相邻锚点上中位误差 0.011%; 但 2020–21 的 8 个缺口段中只有 2020-12→2021-03 段(误差 −0.027%)可发布, 其余段 453 自身也缺中间月或误差 3.6% → 新表 zhishu_derived_fill 只补 2021-01/02 两点(method/anchor/误差均列出), 不写入 zhishu_obs。LH 现货: 新表 zhishu_lh_spot_median_daily(52 城外三元日报价中位/均值, 2011-06 起 3,733 天, 非官方指数)。9 / 10 外盘: overseas_exchange_front_contract 加 is_provisional(采集日 ≤ 数据日 = 未收盘, 10-14 的 16 行 = 1; 07:20 任务覆盖后为 0); 10-13 的 22 行 next_contract/next_close 已按合约月序回填; 新视图 overseas_exchange_contracts_daily_v 加 trade_status(BZ 9,138 行 no_trade / oi_only / traded), daily_v 带出 is_provisional。11 zhishu_obs 自 10-07 起新增行 first_seen_at = 采集时刻(bootstrap=false 42,944 行), 修订进 zhishu_revisions(102,592 条); bootstrap=true 的 2,008 万行 first_seen 无意义(10-06 引导)。12 data_catalog 已重扫(44 库 1,417 表)。13 排名 coverage 加 note(DCE 官方 2020-07-20 起, 此前仅商业源; INE 2018–19 无源)。 运维: 知数重新登录后 23:23 补跑成功(3,309 序列 / 新增 5,202 观测), 随后发现并修复两处缺陷: ① 成分版本表 rule_version 列被 NULL 字面量推断成 INT32, 第二次归档即崩(已改 VARCHAR 并迁移旧表); ② run_zhishu_update.bat 在 ( ) 块内读 %ERRORLEVEL%(解析期展开恒为 0), build_zhishu 失败时定时任务仍报 0——已改为 goto 串行; 当前 build 20261014_234401 (pit 1,800,022 行, obs 至 20261014)。今日 17:10 排名任务因 SHFE 瞬时 SSL EOF 未捕获而整体中止(其余四所未抓)——已加 HTTP 重试(2/6/18s)+ 每所隔离, 并修复"近端空文件被永久跳过"缺陷, 六所已补到 20261014; 知数 21:15 再次 SESSION_EXPIRED(需重新登录, 今晚知数无增量)。 |
| 第二十二次反馈(2026-10-14 午后) | 1 / R2 版本化: zhishu_series_pit / zhishu_product_daily / zhishu_product_daily_components 新增 build_id(每次重建的时间戳, 当前 20261014_154929); 每次重建前把上一版 zhishu_product_daily 整表追加到 zhishu_product_daily_versions(含 archived_at; 10-14 之前的版本已被覆盖, 无法恢复, 以 build_id='pre_20261014_unversioned' 保留重建前的那一版), 成分表只存清单版本 zhishu_components_manifest_versions(品种×类别×序列×起止)。10-14 的 12–39% 历史改写来自 两条规则变更(停更滞后、价格词优先)。2 / R4 外盘合约: 到期合约无源(Yahoo 无过期合约; stooq 有 JS 验证且拒绝访问, 证据 audit/fb22/stooq_probe.txt); 自 2026-10-13 起每日存档 overseas_exchange_front_contract(front_contract / front_close / next_contract / next_close / cont_close / 次月−前月价差); overseas_exchange_daily_v 加 front_contract / next_contract / next_close / jump_kind(front_change / market_move / unknown_pre_archive); BZ 逐月合约已补(6 个合约 2018-11 起)。注意: 存档在 07:20 任务写入(美盘收盘后), 日内手工跑会得到未收盘值。3 / R1 钢联逐期发布时间: 新表 data_catalog.db::release_log_mysteel(文章标题 / 发布日期 / 时间 / URL): 速递 28 篇(2021-12 起, 中位 14:00)、解读 40 篇(2018-11 起, 中位 17:15)、247 家高炉开工/铁水 44 篇(2014-12 起, 中位 08:35 周五)、45/47 港铁矿港存 34 篇(2020-11 起, 中位 08:39)、建筑钢材社库 30 篇(2020-12 起, 中位 17:30); 站内搜索只回前若干命中, 是抽样不是全量, 每期逐一对应仍不完整; release_time_reference 已按中位数与逐年分布更新。观测日≠发布日的说明已写入 note。4 SMM 铜社会库存: 平台确无该序列——SMM 文章正文需登录, 公开只有标题近似值("10 万吨附近"), 不存近似值; release_time_reference 该行已注明"平台无该序列"。 5 映射: 单字别名(铜/铝/锌/铅/镍/锡/糖/锂)后接 峡川梁山鼓陵仁市区县镇乡官 或落在 青铜峡/铜川/白银市/黄金周 等词内不再映射; 青铜峡 3 条序列已不映射 CU; 复核清单 ext_zhishu_mapping_review.csv(1,422 行短别名命中及上下文)。6 zhishu_series_pit 的 99999999 哨兵改为 NULL + available_beyond_calendar=1(2,004 行, 观测日晚于交易日历末端)。7 zhishu_product_daily 加 n_fresh_<类别>(10 个交易日内更新过的成分数); 只用新鲜成分的版本请按 components 表 staleness_td<=10 自聚合。8 jump_kind 见 2: 2026-10-13 起按前月合约代码是否变化区分, 之前的 154 个跳变标 unknown_pre_archive(含 2020-03/04 原油)。 9 capacity_events_clean 加 announce_date_filled / announce_source: 从事件登记表与新闻源的发布时间回填 729/947(shmet 快讯 138、tushare 要闻 35、fxbaogao 研报等), 218 条无公告日(含 17 条死链登记)。10 INE 2018-03-26~2019-11-25: 官方 pm*.dat 存在但游标为空, 备选路径 404 → 无源, coverage 表 complete=False 并注明; DCE 3 个待重试日已补, CFFEX/CZCE/DCE/GFEX/SHFE complete=True。 11 新表 inventory_layered_source_profile(品种×层×来源族: 起止 / 日期数 / 中位间隔 / 口径): RB 社库 zhishu 1,120 行(2005 起, 周度, 钢联口径) / akshare_em 129 / finv 62, 三源口径不同请按 source 选用。12 经纪商: 90 条"更名无模式"已导出复核(audit/fb22/broker_rename_unparsed.csv), 新增可确认的更名模式后 unparsed 210 → 147; 期间仍 32 家 111 期(不放宽)。 R3 宏观一致预期发布日: data_catalog.db::zhishu_macro_consensus_release_map / zhishu_macro_consensus_releases: 10 对候选中只有 固定资产投资累计同比(19157 ↔ eco_cal 城镇固定资产投资年率-YTD, corr 0.988, n=127)通过 ≥0.98 门槛并对齐 127 期发布时刻; 其余 corr 0.79–0.97(知数与 tushare 财经日历的预期来自不同调查), 未对齐, 不降门槛。 |
| 第二十一次反馈(2026-10-14) | 1 知数可得日: zhishu_series_pit 停更序列不再套用"最近发布时间−期末"的滞后(停更后该差值只会越来越大, 曾把 11.8 万行停更日度价格推到 +120 天): 停更序列只用频率规则(日 1td/周 3td/旬 5td/月 15cd/其余 60cd), lag_rule 带 (stopped:freq_rule_only); 二乙二醇/PVC 现货价的 可得日−观测日 中位由 ~120 天降为 3 天; 顶到 120 天上限的行 118,803 → 1,191(均为在更序列)。历史发布时刻无源: 知数只给每条序列最新一期的发布日(max_publish_time), 引导批次(2026-10-06)之前的首次可得时间不可观测, 历史 PIT 仍是"频率规则 vs 最新发布滞后 取大"的保守推算; 主要周度源的发布日/时刻见 data_catalog.db::release_time_reference(见 R2)。2 知数类别: 标题含 出厂价/现货价/市场价/报价/均价/价格/价差/指数 且不以数量词开头的一律归 price(此前"电池"等消费词先命中): 41 个 (序列,品种) 改判(进出口→price 25、消费→price 16), PS 消费综合指标已不含 多晶硅电池组件/电池片 出厂价。 3 综合指标透明度: 新表 futures_pit_extension::zhishu_product_daily_components(207.8 万行): 每 品种×类别×交易日×序列 一行, 给出所用值、观测日、可得日、陈旧交易日数、各序列的 z_250/rank_250/chg_20_sd/yoy、n_series 与名义权重 1/n(聚合是跨序列中位数, 不是加权和)。库存综合 n_series=1 占 42.4%(与反馈 43% 一致), 20 日变化为 0 的比例 库存 6.8/产量 15.7/开工 9.7/消费 16.6/进出口 7.3%, 来自低频序列在期内前向填充, 公式未改, 请用 components 表按陈旧天数过滤。4 检修日历: fundamentals_forward.db::capacity_maintenance_calendar 原表不动, 新视图 capacity_maintenance_calendar_v(统一 event_date_ymd/announce_date_ymd 为 YYYYMMDD 整数, 加 event_class: weather_alert 3,251 行是中央气象台预警误入 / series_point 1,275 行是产量序列点 / market_event 22 行(白银暴跌、WSB 逼空等行情事件) / capacity_event 947 行) 与 capacity_events_clean(只含 947 行真正的检修/复产/新产能/停产事件; 其中 event_date 非空 205 行, announce_date 非空 39 行——登记时未填, 不补造)。历史检修公告回补无源: 知数无"检修"类序列(0 条), 隆众/卓创逐装置检修为付费数据。5 经纪商时点表 v2: 解析规则加 9 个结构标记 + 增量股权转让事件(仅当转让方匹配已知股东才应用): 有期间的公司 16 → 32/150, 期间 68 → 111, 2015-01-01 与今日分类不同的席位 7 → 19 家; 未命中事件 210 条按原因列在 meta_broker_history_unparsed(更名无模式 90 / 结构块无有效条目 49 / 转让无基准结构 43 …), 不放宽规则补造。 6 series_status: 停更序列的 release_lag_days_typ 置空(停更后不再是发布滞后); 在更 lag>120 天剩 4,475 条(月/季/年频), overdue>30 天 84 条(真实逾期或滞后估计偏小, 均为在更且在容忍期内)。 7 外盘换月: 新表 overseas_daily.db::overseas_exchange_contracts_daily(逐月合约日线, 112 个合约 96,816 行, 2013-11 起 Yahoo 仍有报价的合约; 无持仓量字段)——自建连续/次月合约请用它; 视图 overseas_exchange_daily_v 加 ret / ret_z(250 日) / suspect_roll_jump(|ret_z|>6, 统计疑似, 不是换月日历): HE 31 次且集中在每年 8 月中旬(活畜换月窗口)。历史换月日历与复权序列仍无源。8 分层库存: inventory_layered 从知数回补 social(社会库存, 2005-04 起 3,907 行: RB/WR/BU/L/PP/V)与 factory(钢厂库存 2015-02 起 1,194 行: RB/WR), source='zhishu|A码|标题', 与既有 akshare/finv 行同键冲突时不覆盖(跳过 1,510 行记 inventory_layered_zhishu_backfill_log); 每晚随知数更新刷新。9 夜盘缺失原因: session_night_status_daily 的 night_absent_reason 细分为 post_holiday 3,297 / before_first_night_bar 113(制度表按月生效、品种夜盘实际上线在月中, 如 AU/AG 2013-07-05、CU/AL/ZN/PB 2013-12-20) / data_gap_or_unknown 197(明细视图 session_night_unknown_detail: B 73、ZC 30、CY 28、PB 15 …, 以外购 1 分钟源缺夜盘 K 线为主)。10 官方排名回补: 已完成——CFFEX 4,003 日 / CZCE 4,026 日 / GFEX 706 日(2023-11-10 起, 140,763 行; 源站有 JS 反爬, 已改走浏览器页面上下文) / SHFE 4,071 日 / DCE 1,507 日(2020-07-20 起, 3 个失败日待重试); 新表 exchange_public::exchange_holding_rank_coverage(每所 first_day / last_day / 覆盖天数 / 空日 / 待重试日 / backfill_complete, 每次采集后重建)。R1 国内周度数据的市场预期值: 无源——钢联/隆众/SMM 的周度库存产量没有公开的机构一致预期; 知数只有宏观指标的"预测平均值"系列(工业增加值/固定资产投资/M2/进口金额 等月度一致预期, 搜 title LIKE '预测平均值%')。 R2 发布时刻: 新表 data_catalog.db::release_time_reference: 钢联五大品种产量/库存/表观消费 周四 ~14:00(速递文章时间戳, 日盘午后, 节后顺延); SMM 铜社会库存(分地区) 周一与周四 10:30–13:40(SMM 页面时间戳); 钢联 247 家铁水/高炉开工 周五(库内观测日 96–100% 周五, 时刻未验证); EIA 周报 周三 10:30 ET(官方日程, 对应北京 22:30/23:30, 夜盘内); 其余来源只给库内观测日星期分布(series_status.obs_dow_mode), 时刻未验证。 |
| 第二十次反馈(2026-10-13 晚) | 1 sess_order 已改为时段标签(破坏性变更): 1 分钟视图(v_bar_1min__cn_futures* / cn_futures_main / cn_option)的 sess_order 现为 夜盘(含零点后凌晨)=0 / 日盘=1,与 session 一致;原 271 万根凌晨 K 线 sess_order=1 的问题消失。时间排序请用 trade_clock(ORDER BY sess_order, bartime 对 12 个跨零点品种不再是时间序)。agg_main1min_sessions / session_schedule_daily 不受影响。2 / R1 经纪商时点背景: quant_views::meta_broker_top_shareholder_history(中期协沿革正文"变更后股权结构"机械解析, valid_from/valid_to, 逐期第一大股东与同一套规则归类)、meta_broker_name_history(更名史)、视图 meta_broker_alias_bg_pit(alias × 期间, 按 trade_date BETWEEN valid_from AND coalesce(valid_to,'2099-12-31') 取时点分类)。覆盖仅 16/150 家 68 期(其余 134 家的股权事件写法为"股东及出资比例为:"/"受让 N% 股权"等, 解析规则 v2 待做, 未命中的事件在 meta_broker_history_unparsed); 永安 2007-10-11 起财通证券 51.09% → 券商系, 之前 2003-02-27 浙江省经济建设投资公司 31.25% 未分类。实际控制人无源(中期协不公示; 天眼查接口 10-13 连接失败, controller_source 列记录)。seat_type: '代客' = 交易所 2024-05 起拆分公布、名称带"(代客)"的会员代理客户持仓行; '自营' = 其余行——拆分前为该会员全部持仓(自营+代客合计), 拆分后才是自营部分(名称口径, 未按交易所规则文本逐条核实)。3 / R2 官方会员排名扩源: exchange_public.duckdb::exchange_holding_rank_official 新增 CFFEX(2010-04-16 起, IF/TF/IC/IH/T/TS/IM/TL 逐品种上市日起)、GFEX(源端 2023-11-10 起才有, SI 上市到此前无排名数据)、DCE(源端新门户只回溯到 2020-07-20, 更早 zip 为 0 值模板)、CZCE 旧格式 2010-03-09 起(2018 前走 cn/exchange 旧路径)。历史回补后台进行中(CFFEX 已全, GFEX/CZCE/DCE 约 2 小时内补齐, 查 _progress); 每日 17:10 任务已含 6 所。SHFE row_kind='product' 定义确变过: 2015-03-23~2016 年文件给的是 xxactv(活跃合约)按会员的前 20 名(每品种日 22 行), 2017 起只有 xxall(品种合计)的 期货公司/非期货公司 两行——这是上期所文件内容的变化, 不是采集缺失;会员级品种合计请用 contract 行自行汇总。4 / 14 / R5 series_status 修正(79,356 行): 新列 overdue_days(在更但已过预计发布日的天数)、freq_mismatch(源标注频率≠实测, 2,848 条)、future_obs_note(未来日期性质: enriched 年度值按 YYYY1231 记 / 知数计划预测期值)、live_alt_usable(=1 仅当数值核对通过且替代序列在更; title_only 不算替代)、obs_dow_mode/obs_dow_mode_share/weekend_share/month_end_share(每条序列的观测日历口径)、source_publish_time_last(知数 max_publish_time / enriched release_time)、first_available_at(知数=最后一期的 first_seen_at, 2026-10-06 引导批次带 bootstrap 标注; enriched 元数据)、release_lag_days_typ。expected_next_obs 是下一期的期末日期(期值日), 不是发布日; expected_next_release = 期值日 + 发布滞后(知数改用 max_publish_time−end_time; wind 日频 = 当日)。知数源端标"(停)"但最近观测仍在 1.5 个间隔内的 327 条改记在更(basis 注明); alt_match 加后缀 |alt_停更 标出替代序列已停。5 知数日期分布复核: 周频 周日 48% / 周五 33% 是源端自身的周末口径——按 catalog 的 end_time 与库内最大日期比对, 5,806/5,928 条周频序列一致(+1 规则对周频同样成立), 各序列口径看 series_status.obs_dow_mode; 日频周末 5.5% 来自 987 条 7 天报价序列; 月频 1,450 个非月末观测为 CRU 月中指数、基准利率生效日等源端口径。全平台星期分布扫描(341 张有日期列的表, 脚本与结果在 audit/fb20/weekday_scan*.csv): 发现 8 张派生表仍带知数旧日期并已 +1 修正——fundamentals_supply_demand: route_freight_capacity 79,604 / plant_unit_daily 59,499 / terminal_inventory 166,027 / pgm_price_history 63,734 行, import_parity_band 15,000 行从已重建的 import_parity_full 重算; external_web_fundamentals: energy_marine_derived_daily 1,680 / precious_promoted_series_obs 61,204 行(逐值与修正后知数冻结库核对 41,305/41,305 一致); 另 enriched 中 87 条非 enr_ 前缀但源自知数的序列(boost|price_driven_daily 代理、zhishu(直接观测)、计算 等, 423,013 行)同样 +1(enriched_series_obs_datefix_log rule=weekday_signature_shift_fb20)。平移后新键被其它来源行占用的 plant_unit_daily 2,333 / terminal_inventory 12,894 行移出主表到 <表>_zhishu_datefix_blocked(带 corrected_date), 不覆盖。ferrous_alternative_series_obs 由 Futures_Ferrous_AutoUpdate 每日从冻结库重建, 10-14 06:16 后自愈(待观察)。em_reports 周日 20% 为券商周报真实发布日(info_code 内嵌日期一致), 不是错位。6 futures_inv.db::ods_broker_position_rankings 视图加 exchange_norm(SHF→SHFE/ZCE→CZCE/GFE→GFEX/CFX→CFFEX, 98,165 行空交易所按品种→交易所表 position_rankings_product_exchange 全部补齐); 原 exchange 列不动。2010-2013 稀疏是 tushare 源端覆盖。7 ashare_supplement::sw_index_name_history(784 行: ts_code × 名称 × 起止, 如 801030 化工 20120801-20211210 / 基础化工 20211213-); 一级指数 2012-08 起是 tushare sw_daily 的可得起点(按 ts_code 请求 2005-2012 返回 0 行, 已实测), 无法回补。8 fundamentals_supply_demand.db::ppi_spot_quote_frequency 视图: 每商品 2022 起工作日变价比例与 quote_freq_class(低频报价 <20%: PX 7.9% / PS 11.5% / J 12.4% / CY 13.7% / A 16.9%)。9 fut_fee_main_daily_v 视图(fee_jump_ratio / fee_jump_kind) + fut_fee_jump_audit(61 次 >5 倍跳变: 26 次主力合约切换 / 3 次按比例↔按手模式切换 / 32 次同一合约调费, 其中 FU 20170901、IF 20121203/24 疑源单位错已标)。补齐后覆盖 中金所 43.8% / 郑商所 82.6% / 上期所 89.7% 与反馈一致。10 新表 overseas_daily.db::overseas_exchange_daily(yfinance 前月连续, 23 个 CME/CBOT/NYMEX/ICE 符号 HG/ALI/GC/SI/PL/PA/CL/BZ/NG/HO/RB/ZC/ZS/ZM/ZL/ZW/KE/CT/SB/KC/CC/LE/HE, 146,082 行, 1997-10 起, 每日 07:20 任务 OverseasExchangeDaily0720)+ overseas_exchange_symbol_meta(报价单位/合约规模/国内对应品种)+ overseas_exchange_front_contract(自 2026-10-13 起逐月合约推断当日前月合约, 历史换月日无源)。LME 无免费源。11 futures_inv.db::basis_daily_v 视图: abs_basis_pct_gt30 + 按品种的 spec_note(来自 basis_spec_notes: FU 现货含税 180CST vs 期货保税 380CST 不可直接比; JD/LH 现货 元/公斤 已换算; JM 混合价 vs 标准品; WR 2016-2018 期货中位日成交 0 手; SA/J/BU 规格相同或接近)。12 data_catalog 已于 10-14 00:44 重建(44 库 1,389 表), 本轮与上轮新增对象全部收录。 13 quant_views::session_night_status_daily(229,084 行): 每品种×交易日 的 sched_has_night / night_bars / night_cancelled / is_post_holiday / night_absent_reason(post_holiday 3,297 / unknown 310)。15 日盘开盘价差异的原因已查明: agg_main1min_sessions 只取 volume>0 的 K 线, /main1min 首根 09:01 K 线成交为 0 时(BB/RS/WR/FB/RR/OP 等冷门品种)两者开盘价不同; 2025-2026 全品种 33,767 个日盘有 985 个(2.9%)不同, 全部是首根零成交的情形, 两口径都保留, 不改。 R3 申万行业指数 09:25/09:30 开盘或分钟线: 无源(本地只有 tushare 日线)。R4 知数历史首次可得时间: 无源——first_seen_at 自 2026-10-06 引导批次起, 更早的首次发布时刻知数不提供; 可用 series_status.release_lag_days_typ(max_publish_time−end_time)作典型滞后。 |
| 第十九次反馈(2026-10-13) | 请求1 序列状态表(新增,每晚 21:20 刷新): data_catalog.db::series_status(79,215 行)——altdata / enriched / 知数(zhishu) / Wind 每条序列一行: status(在更/停更/快照/无数据)与 status_basis(判定依据)、freq/median_gap_days(应有频率)、last_obs/days_since_last_obs、expected_next_obs(预计下一期)、tail_const_run/max_const_run(末尾/最长连续不变期数)、is_forward_estimate、feed_last_ok(采集最近成功时间)、live_alt_*(可替代的活序列,按名称匹配并核对重叠期数值)。二.1/二.2/二.15: futures_altdata.altdata_series 75 条与 enriched_series_obs 9,759 条都是快照(2026-06/07 一次性汇编,没有计划任务更新),不是采集故障;enriched 有 5,078 条、altdata 有 34 条已匹配到数值一致的活序列(看 live_alt_id)。末尾连续 8 期以上不变: enriched 514 条、知数 8,029 条。catalog_future_dates(22 张表): 目录最大日期晚于今天的表逐表实测未来行数并注明原因(zhishu_obs 2035-12-30 是知数源端给的未来期数值;structured_domain_* 2029-09-01 是源站笔误等)。二.3 / 请求3 1 分钟主连夜盘(已修正,只加列): v_bar_1min__cn_futures_main__vendor 原 sess_order 不变(兼容旧查询),新增 session('night' = 20:00 以后及凌晨 08:00 以前的 K 线,'day' = 其余)与 trade_clock(交易日内时钟序: 20:00 = 0,凌晨、日盘依次顺延);按交易段汇总用 session,排序用 trade_clock。agg_main1min_sessions 加 first_bartime / last_bartime。新视图 session_schedule_daily(341,778 行/94 个品种): 每 品种×交易日×交易段 一行,给出制度起止(sched_start_hhmm / sched_end_hhmm / sched_segments,来自 meta_session_times)与实际首末 K 线时刻;28,861 行没有制度时段可配(sched_source 为空,主要是 2011 年以前)。二.4 生意社现货: 新视图 fundamentals_supply_demand.db::ppi_spot_daily_v2: price_changed(与前一观测比是否变价,首行为空)、prev_obs_date、last_change_date(最近一次变价日)、days_since_change、is_weekend。全表 28.6% 的行是周末;53 个期货映射品种工作日不变价占 40.2%。"是否当日新报价"源头不提供(无源),价格不变不等于没有新报价。与期货对齐请按交易日 join,并注意现货价滞后于期货(反馈实测期货领先 1–2 天)。二.5 enriched 前瞻序列/日期类型: 新表 fundamentals_enriched.db::enriched_series_obs_hist(12,693,406 行/9,747 条): 排除 is_forward_estimate=1 的 12 条序列和晚于今天的日期;obs_date 为整数 YYYYMMDD(原文本在 obs_date_text);4 位年份按年末 YYYY1231(date_precision='year',138 行),'YYYY-MM-' 按月末('month',7 行,文本解析所得,如 txtbody_AL_capacity 2026-04 = 8.0 疑似量纲不符,慎用)。原表不变。二.6 overseas_daily: CT 2026-10-30 一行已删(源头未来日期,开高低收相同、零成交),采集脚本今后过滤晚于当天的行。新表 overseas_symbol_meta / 视图 overseas_symbol_meta_v(22 个符号): 名称、交易所、报价单位(HG/CT/KC/SB/BO 为美分/磅,C/S/W 为美分/蒲式耳)、交易单位、is_cfd(新浪页标"CFD差价合约并非期货"的 11 个: AHD/CAD/CC/CT/KC/NG/NID/OIL/PBD/SND/ZSD)、cn_anchor(对应国内品种)、首末日期与在更/停更(PA、PL 只有 2019-04-18 一行,SB 止于 2019-06-12)。合约选取与换月规则新浪未公开(无源);CFD 与交易所近月合约收益相关偏低属预期。新浪详情页为空的 9 个符号,单位按交易所报价惯例推断(unit_basis 标"未验证")。二.7 EIA 一致预期: 北京 00:00 的发布全部落在美国节假日所在周的周五/周六,与 EIA 节假日顺延发布一致(冬令时美东周四 11:00 = 北京周五 00:00),更像真实时刻而不是缺省值(未逐条对 EIA 日程核实);18 周不符见第十八次说明;API 有 161 周源头没有预期值(无源)。 二.8 eco_cal: tushare 财经日历原样入库, time 是源头给的时刻,不保证是官方发布时刻;(日期,国家,事件) 重复多为同一事件一行有值、一行空值(如中国外汇储备 11:00 有值、16:00 为空),取有值的那行;报告期在事件名括号里、数值带 K/M/B/T/% 后缀,本轮未加解析列。请求5 官方发布时刻: 无源。二.9 CASDE: 新视图 casde_balance_monthly_v: value_flag='range' 的 2,279 个区间值从原文恢复 value_low/value_high(如 '15000-17000'),另 9 个 OCR 粘连无法拆分(value_flag='ocr_glued_unparsed');原 value 不变。缺的 2016-09/2016-10/2018-12/2019-07 即 No.3/4/30/37,源站这几期没有平衡表(无源);313 行 OCR 低阈值补读在 qa_note 标注;只有 publish_date,发布时刻无源。二.10 粮食拍卖: 新视图 grain_auction_results_v: direction(销售 9,304 / 采购 2,056 / 购销双向 572 / 采购与销售均出现 409 / 判断不了为空 8,758,按标题+正文前 600 字关键词)、reserve_type(最低收购价/临储/地储/进口/国家政策性,多个以 | 分隔)、is_rotation(是否轮换)。解析失败 9.3%、grain 为空 8.2%、成交率与 实际/计划 相差超过 2 个百分点 120 行,属原文问题,未改。二.11 换月调整(已修正): 上一轮的 bug(序列结束后的换月被计入、首行记了累计跳变)已改,重建后 26 个公式的 value_roll_adj − value 与"其后各次 roll_jump 之和"逐行一致(最大差 5e-7,浮点舍入)。改前表留底。 二.12 tdx_bars_5min: amount 列全部 26,150,688 行都是小于 1e-38 的乱值(整数按浮点读出),不可用;该表止于 2026-08-27,没有日更,覆盖稀疏。分钟数据请用 1 分钟主连。 二.13 手续费: fut_fee_main_daily 表尾加 4 列(原列不变): open_fee_ratio_filled / open_fee_per_lot_filled / est_open_fee_yuan_filled / open_fee_filled_source('original' = 原值,'wind_fut_fee' = 由 Wind 费率补)。IF 2012-01~2026-03、IH 2015-04~2026-03 共 5,521 个交易日用 Wind 补齐(与原值重叠的日子一致),IF/IH 现无缺口;中金所整体缺失 85.3% → 56.2%。IC/IM/T/TF/TS/TL 在 Wind 也没有历史,仍为空(无源);郑商所 2012–2014、广期所 2022、上期所 2012/2019 的缺口未变。每晚随手续费表重建。二.14 基差: |basis_pct| > 30% 共 2,912 行(FU 2,029 行 2014-08 起、JD 228、JM 192、WR 177、SA 108、J 72 等),多为现货规格与交割品不同;规格是否一致没有结构化来源,本轮未加标注,建议按品种剔除。 二.16 合约日线(已修正): 视图 contract_market_daily_clean 中源表 high=low=0 的行 open/high/low 改为 NULL(源表共 11,271 行,视图内 10,297 行,其余属已剔除的非标准代码),新列 ohl_zero_in_source=1 标出;收盘、结算原样,原表不变。24 行 close ≤ 0 全部是原油 TAS 合约(SCTAS2510 / SCTASL,−0.1),TAS 价格是相对结算价的价差,可以为负(未验证)。二.17 Wind MSCI/XLE: 10-12 加任务时当晚 18:35 批次已在运行,没有纳入;首次拉取排在 10-13 晚 18:35 的批次。 二.18 目录: 57 张为空表、170 个为视图(视图不数行,approx_rows=-1 是设计如此);未来日期见 catalog_future_dates;早期零星行表的 coverage_note 本轮未逐表补。 二.19 交易日历: 2001-12-29、12-30、2002-09-28 三天 contract_market_daily_pre2010 有 34–53 个合约成交,是当年调休交易日,日历无误(未逐条对当年交易所公告核实)。 二.20 FG 主力来回切换: 2026-08-14、08-17 两行 source='bigwin_pre_incident_p6036',前后为 'authoritative',两个来源选主力的口径不同;2010 年以来全表同类 A→B→A 共 295 次(WR 45、FU 39 等)。研究换月请按 source 过滤或自定规则,本轮未改。 二.21 天气: weather_region_daily.available_date = obs_date + 6 天,是固定的保守规则(全部 538,736 行),不是实际可得时间。二.22 opt_pcr_skew_daily: call_oi=0 的 10,993 行 pcr 存为 NULL(不是无穷大),使用时剔除。 请求2 行业周度数据发布星期/时刻: 无源(钢联、卓创、隆众等为付费源,平台没有其发布时刻记录;已知个例: 西本周评周六约 06:50,见库存行)。 请求4 经纪商背景(新增): 视图 quant_views::meta_broker_alias_bg = meta_broker_alias 全部列 + comp_id / cfma_name / top_shareholder / top_shareholder_pct / background_class / background_group / class_basis / shareholder_asof。来源是中国期货业协会官网公示的股东信息(meta_broker_cfma 150 家;历史沿革 meta_broker_cfma_history 4,001 条)。按会员持仓行数加权: 券商系 60.35%、地方国资 8.30%、产业系-地方国企 6.65%、产业系-央企 5.59%、产业系-民营 2.85%、银行系 1.41%、AMC系 0.85%、外资系 0.79%、信托系 0.67%;未分类 11.10%(如新湖、瑞达、华闻、中辉),未匹配 1.45%(含"期货公司会员"等汇总行);第一大股东已知的占 98.55%。class_basis 写明依据: "规则" = 第一大股东为证券公司或外资控股;"判断" = 按股东名称归类,未逐条核实实际控制人。股东为 2026-10-13 当前快照,历史变更看沿革表。知数(zhishu)两个问题: ① 10-09 起登录失效,10-13 15:46 重新登录后已恢复采集(当次拉 4,999 条序列、新增 32,504 个观测);② 日期早一天(10-13 已修正): 原 zhishu_obs.obs_date 比真实日期早 1 天(采集脚本把北京时间零点的毫秒时间戳按 UTC 换算;年度值因此存成 YYYY1230)。10-13 所有者批准后按逐点规则(UTC 15:00-17:00 的时间戳 +1 天,其余不动)修正: zhishu.duckdb::zhishu_obs 20,084,943 行(68,921 条序列 +1 天,251 条不动,133 条逐点;并入碰撞 116 行),zhishu_revisions 同步;冻结库 external_web_fundamentals.db::zhishu_series_obs 29,078,819 行(API 批次 +1 天,手工 xlsx 导出不动)与 fundamentals_enriched.db 的 enr_ 序列 11,744,531 行同规则;fundamentals_supply_demand.db 中直接拷贝知数日期的行(shipping_freight / port_throughput / supply_demand_balance / cost_curve_route 共 86,942 行)+1 天,import_parity_full 的 derived 行重算;futures_pit_extension 的 zhishu_series_pit / zhishu_product_daily、series_status、supply_side_series 已重建。改前表保留为各库 *_pre_datefix,逐序列日志 *_datefix_log,整库备份在 G:/datasource/db/_archive/zhishu_datefix_fb19/。采集脚本已同步补丁。 |
| 数据更正(2026-10-12 晚) | ashare_supplement.duckdb 小数被取整(已修正): tushare 同步脚本建表时若首批数据某列整列为空, DuckDB 会把该列建成整数型, 之后写入的小数被四舍五入。受影响三列已逐日按源头重取复原: ths_daily.turnover_rate(换手率, 2013-12-27 起 2,857,192 个值, 原先全是整数, 如 3.584871 存成 4)、dividend.stk_bo_rate(送股比例 3,995 个, 如 0.3 存成 0)、express.bps(每股净资产 63 个, 如 9.56 存成 10)。只改这一列、只改"库值 = 源值取整"的行(复原 2,853,381 / 3,892 / 62 个, 其余已是正确值), 不一致 0 处。2026-10-12 晚以前取过这三列的, 请重取。同一原因: margin.rqyl / limit_list_d.limit_amount 超过 21 亿的值写入报错, 两表补历史曾卡住, 已放宽为 DOUBLE 并补齐 (margin 2010-03-31..2026-10-09 共 8,910 行; limit_list_d 2020-01-02..2026-10-12 共 165,376 行); stk_surv(机构调研)原先 0 行(接口返回的日期列叫 surv_date), 现 774,042 行 / 1,089 个调研日(2022-01-04..2026-10-09), 单日超过 400 行已分页取全;2022-2025 年有 63 个交易日源头为空(2025 年 9-12 月居多, 抽查 7 个两种查法均 0 行), 属源头缺。列类型现为 DOUBLE, 之后的新数据不会再被取整。当日数据记空后不再重取(已修正): margin / kpl_list / stk_surv 在 19:30 同步时当日数据常未发布, 原逻辑记为空日后永不重取(kpl_list 10-08、10-09 因此缺失, 现已补回 45 / 72 行); 现每晚重抓最近 5 个交易日。margin 当日数据在当晚同步时尚未发布, 预计由之后几晚的重抓补上。 |
| 第十八次反馈(2026-10-12) | 二.1 CFTC 代码尾随空格(已修正): global_macro.duckdb::cftc_disagg_futures / cftc_tff_futures 2010-2014 年度文件的 CFTC_Contract_Market_Code/名称/单位列带尾随空格(如 '067651 '),各年数值列有补位空格——已全部去首尾空白、空串记 NULL(代码受影响: disagg 35,512 行、tff 8,364 行),macro_vintage_log 的对应键与哈希同步改写(改后无新增差异),采集脚本同步修正。现在按代码 join 不必再 trim。二.2 WASDE 块区分/星号值(已修正): global_macro.duckdb::wasde_cells 新增 block(matrixN)、block_label(块标题,如 sr12 的 FEED GRAINS / CORN、sr15 的 SOYBEANS / SOYBEAN OIL / SOYBEAN MEAL)、block_label_source(xml_title / xls_header;NULL = 原文件该块无标题,约 69.7 万行)、region、value_flag、value_low/value_high。'84.6 *' 这类带脚注标记的值现在 value=84.6、value_flag='*'(另有 '**'、'3/');区间值(value_flag='range',5,211 行)拆到 value_low/value_high。有 XML 的 196 期(2010-07~2026-10)全部重解析,value 非空 992,173→994,668;2010-07 那期 sub_report/unit 原为空,已补;与改前逐值比,原有 value 全部不变,新增的 2,495 个全是带标记的值。二.3 macro_vintage_log 的 first_seen_date: = 本平台首次见到该值的日期,不是历史首发日期。2026-10-02 起建(首批约 10.3 万行),2026-10-06 回补 CFTC 2010 年起历史约 21.1 万行——这些行的 first_seen_date 都是入库日。2026-10-02 以前的历史首发值无源;回测发布时点用各表 publish_date / publish_basis。 二.4 稀疏表覆盖起点: data_catalog 新增 n_dated / date_p05 / date_p50 / coverage_note 列——date_min 早但 date_p05 晚 = 早期只有零星行。fundamentals_text::text_signals 按 pub_date: 2024 年 37 行、2025 年 418 行、2026 年 74,490 行;futures_inv::supply_disruption_events start_time 全部在 2026-03-11 及以后;fundamentals_forward::capacity_maintenance_calendar event_date 2011-2024 年零星 93 条(每年 1-18 条)、2025 年 0 条、2026 年 4,658 条、2027 年 2 条,740 行为空。这三张表2026 年以前不宜做历史回测。二.5 发布滞后: fundamentals_enriched.db::enriched_series_meta 新增 release_lag_days_typ(统计期结束到官方发布的典型天数)/ release_lag_days_max(保守上界,PIT 防前视用这个)/ release_lag_basis(依据)。只覆盖有官方年度发布日程表的序列: 海关总署月度 1,836 条(18/20 天)、国家统计局 348 条(CPI/PPI 10/14、工业生产/能源/投资/房地产/社零/房价 16/19、工业效益 27/28、流通领域生产资料价格旬报 4/9),共 2,184 / 9,759;其余为 NULL、basis 标 unknown(人民银行、中债、世界黄金协会及商业资讯源未取得官方固定日程)。1 月份数据常与 2 月合并在 3 月发布,不计入上界。first_available_at 是入库时间,不是发布时间。二.6 利润序列换月跳变: 见"利润/价差序列"行的 profit_daily_roll_adj。三.1 标普500 / MSCI 世界 / XLE 日线: ① ashare_supplement.duckdb::index_global(tushare 21 个全球指数,含 SPX 标普500、DJI、IXIC、RUT、FTSE、GDAXI、FCHI、N225、HSI、KS11 等)改为逐指数取、按各市场自身交易日(原先按 A 股交易日逐日取,A 股休市日的海外行情缺失,且库里只有 2005-01~09)。2026-10-12 已全史回补: 21 个指数 132,384 行,2000-01-03 起(XIN9 自 2004-03、AS51 自 2007-06 为源头起点),原 2005 年 3,137 行逐行仍在且值相同;例: SPX 2000-01-03 收 1455.22,2025 年国庆周(10-01~08)有 6 个美股交易日。每晚 21:20 增量(回看 15 天重取,改值记 index_global_revisions);接口限 100 次/天,回补中断时按 index_global_progress 次日续补。② MSCI 世界(990100.MI,Wind 名"MSCI发达市场")与 XLE(XLE.P,收盘 + 复权因子)已登记到 Wind 通道,数据进 wind_reference.duckdb::wind_series(code='990100.MI' / 'XLE.P'),每晚 18:35 拉取;首轮全史约 2 万 cells,受 Wind 配额约束,可能要一到两晚。三.2 机构/自然人持仓占比(按品种日度): 无源——交易所不按品种定期公布投资者结构,现有只有零散披露 client_structure_disclosures(见"私募规模/参与者结构"行)。三.3 一致预期: EIA 有: fundamentals_supply_demand.db::eia_weekly_consensus(tushare 财经日历: actual 公布值 / consensus 市场一致预期 / previous 前值 / surprise=actual−consensus;2015 年起每周,原油/汽油/馏分油/天然气各 614 周、API 原油 613 周(452 周有预期);单位百万桶,天然气 Bcf;week_ending = EIA 统计周)。原油/汽油/馏分油公布值与 EIA 官方库存周差核对(eia_check): 原油 590 周一致、5 周仅四舍五入差、1 周顺延发布、18 周不符(集中在 2015-2016,疑为首发值与修订后序列之差,未逐条核实);汽油、馏分油 0 周不符。每晚 21:20 重建。WASDE 一致预期无结构化源(无源)。 |
| 摸清有什么表 | data_catalog.db::data_catalog(2026-10-12 重建:44 库 1,343 表,精确行数、合法日期范围(YYYYMMDD 整数/8 位文本/YYYY-MM-DD 文本均已覆盖)、
status 标 empty/view/private_blocked、category 标 quarantine/research_derived/research_label);
research_label 类是含标签/事后窗口的研究表,禁用于训练。表结构细节用 /schema 端点。目录是手动快照(不在计划任务里,scanned_at 为扫描时间),之后新增的数据不会反映,以表内实测为准。2026-10-12 起表尾加 n_dated(合法日期行数)/ date_p05 / date_p50(日期 5%/50% 分位: date_min 早但 date_p05 晚 = 早期只有零星行)/ coverage_note(人工核实的覆盖口径);同一列混用 YYYYMMDD 与 YYYY-MM-DD 时原先 min/max 会取错(如 capacity_maintenance_calendar 最大值曾取成 2026-09-05,实为 2027-01-01),已更正 |
-- 跨年聚合 1 分钟(服务端聚合, 只传结果) select trade_date, count(*) bars, sum(volume) vol from v_bar_1min__cn_futures_main__vendor where code='RB9999' and volume>0 group by 1 order by 1; -- 取某品种当前真实主力合约 select new_contract from roll_calendar_vendor where code='RB9999' order by trade_date desc limit 1; -- 合约级日线 join 跨期价差(两合约日收盘差) select a.trade_date, a.close - b.close AS spread from contract_market_daily_clean a join contract_market_daily_clean b on a.trade_date=b.trade_date where a.contract_id='RB2610' and b.contract_id='RB2701' order by 1; -- 【2026-10-09 新增】跨库联查: db 传 "unified", 表名写成 <库别名>.<表> -- 例: 制度日历 × 合约日线 × 期权 一次查询完成(44 个库全部只读挂载) select c.trade_date, c.close, d.natural_person_last_trade from futures_inv.contract_market_daily c join quant_views.contract_delivery_calendar d on c.contract_id=d.contract where c.contract_id='RB2605.SHF' order by 1 desc limit 10; -- 开工率/产量类序列单份视图(2026-10-09 起已去重: 每条序列一点一行, -- symbols 列列出关联品种, source_rows 为合并前份数; 映射表见 research_domain_metric_map) select obs_date, numeric_value, unit, symbols from futures_inv.research_domain_series_flat where metric='日均铁水产量' order by 1;
GET /datasets 和 GET /dbs 摸清数据,再下查询。format=parquet + 按 start/end 分段拉;不要一次拉全历史 1 分钟(全量近 1 亿根)。502 多为服务正在重启(更新维护窗口通常只有几秒),稍后重试即可。Python-urllib/*)会被
Cloudflare 拦 403(error code 1010)——若必须用 urllib,请显式带一个浏览器 User-Agent 头。上传源码、模型、数据、研报或其他文件。单文件不超过 128 MiB; 多文件逐个串行上传。文件按 SHA-256 去重, 状态为 received_unreviewed, 不自动执行、不加载模型、不进入生产策略。上传区由所有有效 token 使用者共享; 不要上传密码、token 或其他凭证, 凭证类文件名会被拒绝。
来源 data_catalog.db::db_catalog + dict_tables + tdx_db/_catalog/manifest.parquet（脚本 futures_data/scripts/build_web_data_map.py，登记动作 audit/web_data_map_20261024_register.py 与 20261027 专项登记）；行数/日期从字典读，口径一句话为人工撰写。按域组织，每行=库.表 + 口径 + 覆盖（行数/起止年）。本块在「意见反馈」之前，逐表细节见 GET /dictionary?level=tables&db=..，逐列见 GET /dictionary?level=columns（需 token），库用途见 GET /dbs。
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
tdx_db.tick | 国内期货逐笔快照 (0.5 秒帧, 2026-07 起日分片 + 更早月分片): 最新价/累计量/买卖盘, 合约级; 研究前先按 contract_market_daily 筛当日有成交合约 | 2.17 亿 行（2026–2026） |
tdx_db.tick_snap_15min | tick 的 15 分钟预聚合 (合约×15 分钟: 价差 mean/max/p95、失衡、主动买卖量、vwap、oi); 2011-01 起, 单日 5 秒粒度, 跨零点夜盘帧落 00:00-02:45 桶 | 4929.3 万 行（2011–2026） |
quant_views.main_contract_l1_spread_daily | 主力L1日内报价价差 (品种×交易日×日/夜盘): 真实15分钟桶等时加权报价价差, official_t-1主力; 缺桶不补, bp为桶均价差/端点中间价近似; 不是逐笔成交有效价差或真实冲击成本 | 23.4 万 行（2011–2026） |
tdx_db.bar_1min__cn_futures__m030 | 国内期货 1 分钟 (含全部合约, 2012-12 起): code/trade_date/bartime/open/high/low/close/oi/volume | 1.04 亿 行（2012–2026） |
tdx_db.bar_1min__cn_futures_main__vendor | 付费主力连续 1 分钟 (2005-01 起, 夜盘已归交易日); 缺日由 tdxfill 补, 联合视图 quant_views.v_bar_1min__cn_futures_main (vendor ∪ tdxfill, source='tdx' 为补日) | 7519.9 万 行（2005–2026） |
tdx_db.tick_option | 商品期权逐笔 (m004/m005/m006/m067, 2026-10-19 起): 服务器只留 3-4 周窗口, T+1 采集 | 744.7 万 行（2026–2026） |
tdx_db.tick_l2 | 期货 L2 逐笔/五档 (iFinD 源): 2026-10-23 起前向采集, 上期/能源/郑商所/广期所已登记 manifest; 大商所/中金所无权限, 不代表历史五档 | 184.0 万 行（2026–2026） |
futures_derived.tick_close_window_daily | 收盘 10 分钟真实成交成本 (14:50-15:00): 窗口成交量/vwap/高低/末帧价/与收盘价差/零成交帧占比; 中金所国债收盘 15:15 用 day_close_time_ms 剔除 | 198.6 万 行（2011–2026） |
futures_intraday.tdx_bars_5min | 旧版 5 分钟库 (2,615 万行), 已被 tdx_db/bar_5min 取代, 仅供历史对照 | 2615.1 万 行（2017–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_inv.contract_market_daily | 逐合约日线 (2010 起): 开高低收/结算/前结算/量/持仓/成交额/涨跌停; 含 326 个非标准码, 干净口径用 contract_market_daily_clean | 246.4 万 行（2010–2026） |
futures_inv.contract_daily_expiry_v | 视图: clean + contract_master, 加 last_trade_date (=最后交割日, 非最后交易日) 与 delivery_month; 2023 前多 NULL | 216.4 万 行（2010–2026） |
futures_derived.continuous_causal_daily | 因果主力连续日线 (2001 起): 当日持仓=前一交易日官方主力, 无前视; 回测/研究一律用这张, 不要用 market_daily 拼 features | 25.3 万 行（2001–2026） |
futures_derived.continuous_adjusted_daily | 主力连续后复权: adj_ratio_* 做收益, adj_diff_* 有 ≤0 值不可算百分比; is_roll/gap_ratio 换月缝 | 25.3 万 行（2001–2026） |
futures_derived.calendar_spread_daily | 跨期价差矩阵 (2010 起 172 万行): adjacent 相邻 / main_secondary 主力次主力, spread/spread_pct/ann_roll_yield 年化展期收益 | 172.0 万 行（2010–2026） |
quant_views.v_bar_1min__cn_futures_main | 视图: 主力连续 1 分钟并集 (vendor 2005 起 ∪ tdxfill 补缺日, 不双计), 前向检验用这个 | 7524.9 万 行（2005–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_options.opt_daily_raw | 逐合约期权日行情 (2,677 万行): 结算/收盘/量/持仓/行权价 | 2676.9 万 行（2017–2026） |
futures_options.opt_greeks_full_norm | IV 与希腊字母 (2,159 万行, 已做 3/4 位月份码归一): iv/option_price 由结算价反解, iv_close 为收盘 Black-76; 偏度研究用 close 口径 | 2158.9 万 行（2018–2026） |
option_daily.opt_daily | 另一套期权日线 (2,190 万行, 多 OHLC 口径), 与 futures_options 是两条采集链, 不要混用同一序列 | 2190.4 万 行（2017–2026） |
futures_options.opt_pcr_skew_daily | PCR 与偏度日度 (36.4 万行): 按品种/月份聚合的 put/call 比与 25Δ 偏度代理 | 36.4 万 行（2018–2026） |
tdx_db.bar_1min__cn_option__m005 | 商品期权 1 分钟 (m005, 2025-08 起); m004/m006 为 2025-10 / 2026-09 起 | 1281.1 万 行（2025–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_inv.processing_profit_formula_map | 加工利润公式字典 (22 式): 成品-原料系数/单位/覆盖区间/是否有腿明细, 配 profit_proxy_daily 与 profit_proxy_legs 使用 | 22 行 |
futures_inv.spot_prices_extended | 扩展现货价面板 (2000-01 起 43.7 万行): 多来源报价 + unit 列, 跨源比较前先看单位; 与 spot_prices_daily 分工 | 43.7 万 行（2000–2026） |
futures_inv.basis_daily | 期货-现货基差日度: spot_price 单位随写入方 (100ppi 报价单位 vs 链式刷新期货单位), basis_abs 恒为期货单位; 按数值区间归一 | 13.7 万 行（2011–2026） |
futures_inv.industry_spread_daily | 产业价差日度 (2005-06 起 7.65 万行): 品种×指标(现货-期货/跨品种/区域), obs_date 为观测日 — 与 basis_daily 不同表不同口径 | 7.7 万 行（2005–2026） |
fundamentals_supply_demand.supply_demand_balance_same_freq | 供需平衡同频表: 唯一写入方 build_supply_demand_balance.py[5] (34 品种 + apparent_demand 非空口径) | 299 行（2015–2026） |
fundamentals_supply_demand.import_parity_band | 进口盈亏带: BZ/PG/PL 为真实腿 (zhishu|real_leg), L/PX/EG/TA 有真实 CFR 但后段是代理; source=CONSTRUCTED_PROXY_not_market 的为构造代理非实盘, 跨期比较先按 source 过滤 | 1.5 万 行（2005–2026） |
fundamentals_enriched.enriched_series_obs | 基本面增强层日频面板 (1,270 万行; 另有 _hist 历史副本): 由 supply_demand / 产业链公开数据派生 | 1269.6 万 行（1900–2027，含源端预测期） |
futures_pit_extension.zhishu_product_daily | 知数序列→品种日频 PIT 面板 (22 万行), 含 components/versions 版本链, 是基本面因子的 PIT 入口 | 22.0 万 行（2010–2026） |
futures_pit_extension.apparent_demand_pit | 月度表观需求恒等式 (严格四腿, 仅真总库存口径): 产量+进口−出口−库存变化; 同商品产量与专用贸易映射, 残差=0; 实际品种与月份以覆盖表为准 | 569 行（2026–2026） |
futures_pit_extension.apparent_demand_survey_pit | 表观需求·调查口径扩展表: 只纳入明确登记的一致口径调查库存, 每行带 inventory_scope 与 demand_caliber=survey_proxy_not_total_inventory; 不拆合计冒充单品, 不能当严格总库存需求 | 1,006 行（2026–2026） |
futures_pit_extension.industry_balance_monthly | 工业品月度平衡表: 有任一数据腿的品种月均保留, 缺腿标 blocked_reasons; 库消比及月度修订; 实际品种覆盖以 industry_balance_product_coverage 为准 | 1.4 万 行 |
futures_pit_extension.apparent_demand_coverage | 需求覆盖与阻断原因: missing_monthly_production / import_export / total_inventory / operating_rate; 周频需求因缺真实周频贸易源显式阻断 | 51 行 |
futures_pit_extension.supply_side_evidence | 公开供给/库存证据: TA/PX开工率(%)、PF短纤库存(天)、STEEL钢材大类出口(万吨), 附URL/发布日/原文; 文章精确观测日不明时obs_date=NULL; 不进入四腿恒等式, 不冒充月产量/RB贸易/吨库存 | 4 行（2026–2026） |
futures_pit_extension.mysteel_pta_production_monthly | 隆众PTA真实样本月产量: 精确月报/发布日/URL/原文hash/修订; 非开工率或周产推算; 原文环比异常保留质量标记, 行数以字典实测为准 | 22 行（2025–2026） |
futures_pit_extension.mysteel_pta_inventory_weekly | 隆众PTA周度行业库存(万吨): 调查口径consistent_survey_total非官方总库存; 环比勾稽异常保留; 非法起始日置NULL不猜日期 | 81 行（2025–2026） |
futures_pit_extension.public_coking_coal_trade_monthly | 炼焦煤月度进口 (公开海关转引, 2026-05..09): 进口量/额/累计值, 逐条带 URL/发布日/证据与累计差分校验; 本表无出口与长历史; JM已另用知数海关同商品进出口序列进入需求表 | 5 行（2026–2026） |
external_web_fundamentals.gacc_major_exports_monthly | 海关官方出口月报 (2026-02..09, 264 行/33 商品组): Major Exports 量值与 YTD, 真实 release_date+source_url; 官方商品组口径不等于品种, 不可用于补 JM/I 出口腿 | 264 行（2026–2026） |
futures_pit_extension.inventory_total_pit | 库存口径层 (ISO 周对齐): official_total / sum_of_disjoint_holders / consistent_survey_total 才可进需求, port/regional/social/partial 仅展示; 成分清单与 n_present/n_expected 可审计 | 1.2 万 行（1999–2026） |
futures_pit_extension.inventory_component_map | 库存口径映射: 品种×标题→口径与说明; 改口径必须改这张表, 不得在 SQL 里隐式替换; 当前成分数以字典实测为准 | 35 行 |
futures_pit_extension.industry_series_pit | 产业序列 PIT 底表: production/inventory/operating/import_export; release_basis 区分真实发布与 first_seen 上界; 品种映射错误和修订在质量表留痕 | 24.6 万 行（1948–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_inv.wsr_detail | 仓单明细 (交易所逐日逐品种逐仓库): 小计行已剔除; 序列聚合见 warehouse_receipt_series / _full_tushare / _pit | 231.9 万 行（2010–2026） |
fundamentals_supply_demand.xiben_social_inventory_weekly | 西本社会库存周度 (2005-04 起 10,299 行): series×obs_date, 钢材社会库存; 旧 steelx2_inventory_long 已收敛为兼容视图 | 1.0 万 行（2005–2026） |
exchange_public.exchange_holding_rank_official | 交易所官方会员持仓排名 (contract+product 双行口径), position_rankings 缺当日时的兜底源 | 1261.2 万 行（2010–2026） |
exchange_public.holding_release_time_daily | 持仓排名发布时刻 (2010 起 1.6 万行): T+0 晚间实际可得时间, PIT 对齐用它而不是 trade_date | 1.6 万 行（2010–2026） |
fundamentals_supply_demand.maintenance_history | 装置检修历史 (去重后 1,522 行): 检修/复产事件 + 产能影响, is_forward 标前瞻公告 | 1,522 行 |
external_exchange_inventory.lme_stock_wind_series | Wind EDB 六金属总库存/注册/注销分指标序列 (18 指标, 92,589 观测): 报告日+正式代码+原始文件哈希; 总库存/注册自 2010, 注销自 1997 | 9.3 万 行（1997–2026） |
external_exchange_inventory.lme_stock_official_v | Wind 报告日库存/注册/注销汇总: 三指标码+warrant_gap/reconciled; reconciled=NULL 是字段不全不是通过, 与快讯发布日分开 | 4.4 万 行（1997–2026） |
external_exchange_inventory.lme_stock_reconciled_v | 仅库存=注册+注销的完整日期 (24,358 行); 2011-09-23 六品种源勾稽异常单列 recon_quarantine, 不反写源值 | 2.4 万 行（2010–2026） |
lme_official.daily_stock_latest | LME 官方日度分仓/总量与出入库 (2016-07..2024-05 归档): Closing=Opening+In-Out=Open+Cancelled, 原始 Excel/hash 留痕 | 40.9 万 行（2016–2024） |
lme_official.monthly_stock_latest | LME 官方月内逐交易日库存 (2021-01 起): 九金属收盘库存, 缺月重试不当零; 月表无注册/注销拆分 | 1.3 万 行（2021–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
fundamentals_supply_demand.fut_fee_main_daily | 主力合约手续费日度: 开/平/平今 比例与每手金额, 平今缺失列已回填 (close_today_*_filled), 广期所仍无源 | 21.6 万 行（2012–2026） |
futures_events.events_rule_raw | 保证金/涨跌停/合约乘数日度规则 (2020-06 起, 公司保证金口径); events_rule_ext 为扩展列版 | 17.7 万 行（2020–2026） |
futures_pit_extension.exchange_notice_pit | 交易所公告 PIT (2000-10 起 9,100 行, 上期+能源+郑商所): 公告类型/品种/合约/生效日/参数, 附可得时点 | 9,100 行（2000–2026） |
quant_views.contract_delivery_calendar | 交割日历与最后交易日规则 (品种级 1-6 天规则), 与 contract_master.last_trade_date (最后交割日) 配合换算 | 9,913 行（2010–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
global_macro.macro_vintage_log | 宏观首发值 vintage (2026-10-02 起每日 21:50 追加, 幂等只追加): 历史真实首发日不可回溯, 之前的研究只能用 publish_date | 31.8 万 行（2026–2026） |
global_macro.em_macro_* / nbs_monthly / pboc_monthly | 东财宏观 22 张 + 统计局 + 央行: publish_date 为派生列 (calendar/notice_field/first_seen), 依据存 publish_basis | 125.8 万 行（1990–2026） |
global_macro.overseas_rate_series | 海外利率与美元流动性 (FRED + NY Fed): 美债/TIPS/通胀预期/信用/美元/联储资产负债表/TGA/RRP, SOFR/EFFR/OBFR/TGCR/BGCR 的利率/分位/均值/指数/目标区间/成交量; 源空值不补0, publish_basis 明示派生口径 | 27.0 万 行（1962–2026） |
global_macro.overseas_rate_catalog | 海外指标目录: FRED 代码与 NY Fed 类型/字段, 单位/频率/官方链接, 不把不同来源或字段混为同一序列 | 58 行（2026–2026） |
global_macro.overseas_rate_coverage / overseas_rate_revisions / overseas_rate_runs | 海外采集覆盖、改价与运行审计: 原始 CSV/JSON+hash, ok_empty 不是零值, error 不得当完成 | 276 行（2026–2026） |
global_macro.ifind_edb_series | iFinD EDB 原生观测: 数值/NULL、源 rtime 与本机入库时间分开; BDI/BCI/BPI/BSI 已从原始响应恢复, 其余按统一 worker 与配额续跑 | 10.3 万 行（1990–2026） |
global_macro.ifind_edb_raw_files / ifind_edb_revisions / ifind_edb_coverage | iFinD EDB 原始文件、修订和覆盖: 可离线恢复, 配额阻断不是数据成功, 候选目录不等于历史序列 | 3.5 万 行（2026–2026） |
ifind_reference.ifind_edb_catalog | iFinD 候选指标目录 (24,270 条): 既有 M 段探测的名称/样例/预测期/冲突与原始 hash, 不是全量目录或完整时间序列 | 2.4 万 行（2000–2026） |
global_macro.cftc_disagg_futures | CFTC 分类持仓 (17.2 万行): 外盘持仓结构, 周五发布 → 周二可用 | 17.2 万 行（2010–2026） |
external_public_macro.public_macro_series | 公开宏观序列 (4.75 万行, 38 条注册序列): 与 global_macro 去重后的公开源补充 | 4.8 万 行（1999–2026） |
global_macro.worldbank_pinksheet_monthly | 世行 Pink Sheet 月度商品价 (5.0 万行): 长历史外盘商品价基准 | 5.0 万 行（1960–2026） |
global_macro.usda_psd_alldata / wasde_cells | USDA PSD 与 WASDE 单元表: 农产品平衡表, 发布日口径见 publish_basis | 432.2 万 行（2010–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
ashare_bars.bar_1min_em | A股 1 分钟 (东财源, 720 万行) + bar_5min_em (892 万行); 分钟历史只在客户端下载时前进 | 720.5 万 行（2018–2026） |
ashare_factors.stk_factor_pro | A股日频因子宽表 (1,008 万行): 复权价/量价/技术指标, 训练面板的原料 | 1008.1 万 行（2018–2026） |
ashare_supplement.ashare_daily / daily_basic / adj_factor | A股日线/每日指标/复权因子 (tushare 口径, 2026-10-23 起分批回填中) | 4932.1 万 行（2005–2026） |
ashare_features_ext.weekly / monthly / margin_secs | 周线 309 万行 / 月线 73 万行 / 两融标的日度余额 756 万行 (2010 起) | 1137.4 万 行（2010–2026） |
ashare_global_ext.hk_basic / us_basic | 港美股证券目录快照 (全分页原始 JSON/hash): 美股 list_status 不作有效退市过滤, 目录不单独当完整历史名录 | 2.7 万 行（2026–2026） |
ashare_global_ext.hk_daily / us_daily | 港美股日线: ts_code+trade_date 主键, 源站口径不另复权或补零; 近期起步, 历史按每日有界断点续跑, 原始分页 JSON/hash 可追 | 696.3 万 行（2025–2026） |
ashare_global_ext.global_equity_universe_v | 目录与行情联合视图: master_source 区分目录来源与 bars_only_unmatched_master, 不自动补上市/退市状态 | 4.0 万 行（2025–2026） |
ashare_global_ext.global_equity_coverage / global_equity_quarantine | 逐日覆盖回执与异常源行隔离: ok/ok_empty/ok_with_quarantine/error 分开, 缺代码行不伪造身份、不覆盖主表 | 2,758 行（2026–2026） |
hk_financials.ts_financial_statement | 港股三大报表逐科目 (Tushare): 原始分页/hash/修订/覆盖; 无公告日或币种不补造, 与东财指标分开 | 819.8 万 行（1996–2026） |
us_financials.ts_financial_statement | 美股三大报表逐科目 (Tushare): 原始分页/hash/修订/覆盖; 无公告日或币种不补造, 与 SEC XBRL 分开 | 234.1 万 行（1992–2026） |
hk_financials.ts_financial_indicator_v | 港股财务指标联查: 原始行+指标长表+币种, 空值不补零; hk_common_shares 官方注明有误 | 823.3 万 行（1996–2026） |
us_financials.ts_financial_indicator_v | 美股财务指标联查: 原始行+指标长表+notice_date/currency; 公告日与本机入库时间分开 | 246.8 万 行（1992–2026） |
ashare_fundamentals.fina_audit | 财务审计意见 (2006 起 8.6 万行), 财报质量筛查 | 8.6 万 行（2006–2026） |
hithink_cli_market.v_daily_hfq / v_daily_qfq | 同花顺 A股日线 1,035 万行 (2016-10 起) + 复权因子/事件, 提供前/后复权视图 | 2070.1 万 行（2016–2026） |
ashare_supplement.cb_conversion_price_vintage | 转债转股价历史版本 (7,244区间/1,170只): valid_from/to+available_date+初始/调整前后价+原始记录/SHA; 初始first_conv_price可得日=list_date为上界, 不用当前conv_price回填; 配cb_valuation_daily(769,474行) | 7,244 行（1992–2026） |
hithink_market.index_constituents / valuations_snapshot | 同花顺指数成分 (16.1 万行) 与估值快照 (8.9 万行): 板块/题材联动 | 25.1 万 行（2026–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
fund_holdings.fund_adj | 基金复权净值因子 (2005 起 311.9 万行): 复权收益与净值序列对齐 | 311.9 万 行（2005–2026） |
fund_holdings.fund_portfolio / fund_share / fund_div | 公募持仓/份额/分红 (1,800 万行): 机构行为与持仓变动 | 1864.1 万 行（2013–2026） |
ashare_supplement.fund_daily | ETF/LOF 日线 (tushare 口径), 与 fund_holdings 的净值序列互补 | 318.3 万 行（2005–2026） |
tdx_db.bar_daily__cn_fund__m033 | 场内基金日线 (2007 起), 通达信口径, 供分钟/日线对齐 | 3233.4 万 行（2007–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
overseas_daily.overseas_exchange_daily | 外盘交易所日线 (14.6 万行, 前复权版 overseas_front_adjusted_daily): COMEX/NYMEX/CBOT 等, 品种级 | 14.6 万 行（1997–2026） |
overseas_futures_contracts.overseas_futures_contract_daily | 外盘逐合约日线 (1995-06 起 144.5 万行, 2,204 合约, 8 品种): 只有 close, settle 按设计 NULL, flags 标异常 | 144.5 万 行（1995–2026） |
overseas_futures_contracts.overseas_futures_settle_daily | 外盘官方结算价 (2008-01 起, CME FTP/Westmetall/Wind): settle 独立于 close; 更早年份按周配额回填, 不把 close 冒充 settle | 24.4 万 行（1995–2026） |
futures_foreign.foreign_hist_raw | 外盘历史原始 (5.0 万行), 早期口径, 已被 overseas_daily 取代 | 5.0 万 行（1996–2026） |
tdx_db.bar_1min__us__m074 | 美股 1 分钟 (2023 起 1.49 亿行); us/m016-18 为 2026-10-21 起前向积累 (只留 2 个自然日) | 2.05 亿 行（2023–2026） |
tdx_db.bar_daily__hk__m031 | 港股日线 (1986 起) + 港股 1 分钟 (m023/m025/m027/m031/m043/m048/m049) | 832.4 万 行（1986–2026） |
tdx_db.bar_daily__fx__m010 | 外汇日线 (1980 起) / m011 (1999 起) + 外汇 1 分钟 m010/m011 | 8.9 万 行（1980–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
fundamentals_text.text_corpus_raw | 文本语料原文 (37.9 万行) + text_facts_extracted (33.2 万条事实) + text_signals (7.5 万条信号) | 37.9 万 行（1986–2026） |
external_web_fundamentals.commodity_news_raw | 商品新闻原文 (2024-11 起 8,030 行), 文本层原料 | 8,030 行（2024–2026） |
external_web_fundamentals.futures_reports_fxbaogao | 先见研报正文 (体已剔除站内相关报告列表); 发布时间估计见 futures_reports_fxbaogao_pubtime | 3.7 万 行（2024–2026） |
broker_views_raw.doc_meta | 研报元数据 (2008-12 起约 6.6 万行): available_ts/available_date 为 PIT 可得时点; 有源秒级时间戳时保留, 不用首次入库日冒充发布时刻 | 5.2 万 行（2008–2026） |
broker_views_raw.doc_product_tags | 文档×品种标签 (约 54 万行): 命中字段/别名/置信度, 文本→品种映射结果 | 54.2 万 行 |
broker_views_raw.research_report_index_v | 新旧研报统一索引: 原有全文 + iFinD 元数据 + Wind RPP 批次; extract_status/full_text_status 区分全文、权限不足、未返回与无 PDF, 不能把条数当全文覆盖 | 88.2 万 行（2008–2026） |
broker_views_raw.research_documents | iFinD + Wind 研报元数据: 标题/源发布日期/机构/作者/原始响应 hash; 2026-10-27 起按用户要求暂停研报导出, 已有批次不是全天或全历史 | 81.6 万 行（2010–2026） |
broker_views_raw.research_document_securities | 研报×证券关联: 原始与源端评级/上次评级/调整方向/目标价; 关联股票代码不是期货合约或品种码 | 129.6 万 行（2026–2026） |
broker_views_raw.research_files | 研报原始文件版本: 快照响应/PDF/文本及 Wind 批次 ZIP/XLSX 的 hash/路径/状态; iFinD 原文 PDF 尚未打通, 登录页不作正文 | 22 行（2026–2026） |
broker_views_raw.research_coverage | iFinD 逐日覆盖与 Wind 选定批次状态 (batch_ok/batch_partial); 权限不足/未随包返回/公众号无 PDF 分开, 不代表全天覆盖 | 6,154 行（2026–2026） |
broker_views_raw.research_all_product_tags_v | 兼容旧标签与 iFinD/Wind 新标签的品种映射视图; 正文到位前可能只有标题标签, 不代表观点已抽取 | 76.8 万 行（2026–2026） |
broker_views_raw.research_runs | iFinD/Wind 采集运行、暂停、配额或截断记录; 看门狗只做状态恢复, 不用进程 Running 证明全历史或全文完成 | 309 行（2026–2026） |
ifind_notices.notice_index | iFinD 公司公告元数据 (reportType=901, 非券商研报): ths_code+seq 唯一, ctime=源发布时间; 公告日期与入库、原文提取时间分开 | 242.8 万 行（2021–2026） |
ifind_notices.notice_documents | 公告原始 PDF 路径/hash/字节数/下载状态: pdf_sha256 IS NULL 是原文缺口; 分批下载中, 不等于全部公告原文已覆盖 | 560 行（2026–2026） |
ifind_notices.notice_text | 已下载 PDF 的结构化文本, 以 pdf_sha256 绑定原文版本; 无文本层和未下载的公告不在这里, 不冒充全文覆盖 | 560 行（2026–2026） |
ifind_notices.notice_coverage | 公告查询窗口的完整/空/错误/疑似截断与原始响应 hash; 断点按覆盖窗口, 不仅看最大公告日 | 5.4 万 行（2026–2026） |
ifind_notices.notice_quota | noticeData 与 noticeDownLoadStat 配额在运行开始时的快照; 不是运行结束时的精确用量 | 404 行（2026–2026） |
futures_inv.product_alias_map | 品种别名映射 (406 行): 文本归一化的基表 | 406 行 |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
ashare_sentiment_hithink.limit_up_pool | 同花顺涨停池 (2020-07 起 10.2 万行): 涨停原因/连板数/封单额; 跌停/炸板/天梯/热股/异动/龙虎榜同库 | 10.2 万 行（2020–2026） |
ashare_sentiment_hithink.v_limit_up_reason | 视图: 涨停池精简列 (日期/代码/名称/连板/原因/封单额), 读题材强度的入口 | 10.2 万 行（2020–2026） |
ashare_sentiment.lhb_daily | 东财口径龙虎榜 (2020 起 12.5 万行) + 涨停/炸板/跌停/强势池 (2026-10-21 起前向积累) | 12.5 万 行（2020–2026） |
hithink_market.limit_up_pool / dragon_tiger_list | 同花顺快照口径情绪池 (早期小样本), 与 sentiment_hithink 是两套采集, 不混用 | 902 行（2026–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
zhishu.zhishu_obs | 知数序列观测 (2,013 万行, 6.9 万条序列): 产业/宏观高频指标; 发布滞后估计见 zhishu_release_lag_est | 2013.4 万 行（1900–2035，含源端预测期） |
ashare_supplement.index_daily / ths_index / sw_daily | 指数日线 + 同花顺/申万板块指数与成分, 板块轮动与品种联动 | 234.9 万 行（1991–2026） |
hithink_market.index_catalog_cn_concept / index_catalog_industry | 概念/行业指数目录 (1,170 / 960 条), 配合 index_constituents 取成分 | 2,130 行（2026–2026） |
equity_daily.eq_daily / eq_adj | 股票日线 (667 万行), 指数与个股对齐用的基础面板 | 667.1 万 行（1991–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_weather.weather_region_daily | 产区天气日度 (53.9 万行): 22 个产区映射, 农产品/能源需求侧代理 | 53.9 万 行（2010–2026） |
jodi_oil.jodi_oil_observations | JODI 石油月度观测 (1,108 万行) + 新加坡油品贸易 | 1108.3 万 行 |
imf_portwatch_chn.imf_port_daily | IMF PortWatch 中国港口吞吐 (17.1 万行): 港口/运力代理 | 17.1 万 行（2019–2026） |
precious_metals_research.precious_exchange_receipt_history_v3 / precious_driver_score_v3 | 贵金属研究链 (1.0 万行): 金银比/实际利率/央行购金等派生 | 6,665 行（2014–2026） |
profits_unified.profit_daily | 利润公式日度 (13.9 万行, 65 式): 37 式新鲜、24 式真死源, 死源已在库内如实标注 | 13.9 万 行（1991–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
bond_yield_curve.tushare_yc_cb | 中债国债收益率曲线: trade_date+ts_code+curve_type+curve_term 身份, 两类型分别替换; 当前近期窗口已验收, 历史断点续跑。 | 6,036 行（2026–2026） |
fund_holdings.etf_share_size | ETF 份额与规模: trade_date+ts_code, 沪深交易所分区; etf_name/total_share/total_size 保源值, 源未返回的 nav/close 为 NULL, 不补造。 | 1.0 万 行（2026–2026） |
ashare_security.stock_basic_status_snapshot | A股 L/D/P 证券状态原生快照: 官方 stock_basic 全字段, 三种状态分别保存; 快照不是历史每日状态。 | 5,921 行（2026–2026） |
cb.tushare_cb_price_chg | 可转债转股价调整历史: ts_code+change_date+publish_date 身份, 全部证券批次查询; 原始 JSON/hash 与逐批覆盖。 | 6,119 行（1000–1459） |
ashare_features_ext.stk_premarket | 盘前股本与涨跌停参考: ts_code+trade_date, total/float_share/pre_close/up_limit/down_limit 保源值。 | 287.2 万 行（2024–2026） |
ashare_features_ext.stk_auction | 集合竞价成交: ts_code+trade_date, 量/价/额/换手率/量比/股本, 不当作完整 L2 委托队列。 | 231.8 万 行（2025–2026） |
ashare_features_ext.stk_auction_o | 开盘集合竞价 OHLCV: ts_code+trade_date, 与完整分钟线或委托队列不同。 | 240.5 万 行（2025–2026） |
ashare_features_ext.stk_auction_c | 收盘集合竞价 OHLCV: ts_code+trade_date, 与完整分钟线或委托队列不同。 | 248.9 万 行（2025–2026） |
ashare_global_ext.hk_adjfactor | 港股累计复权因子: ts_code+trade_date, 原始因子和 close_price, 不复用不复权港股日线冒充。 | 58.1 万 行（1990–2026） |
ashare_global_ext.hk_daily_adj | 港股复权行情: 原生价格/量额/adj_factor, 与 hk_daily 不复权口径分开。 | 50.1 万 行（1990–2026） |
ashare_global_ext.us_daily_adj | 美股复权行情: 原生价格/量额/vwap/adj_factor, 与 us_daily 不复权口径分开。 | 31.4 万 行（2006–2026） |
ashare_global_ext.hk_tradecal | 港股交易日历: cal_date/is_open/pretrade_date, 按时间窗口回填; 当前只完成已验收窗口。 | 1.3 万 行（1990–2026） |
ashare_global_ext.us_tradecal | 美股交易日历: cal_date/is_open/pretrade_date, 按时间窗口回填; 当前只完成已验收窗口。 | 1.3 万 行（1990–2026） |
sse_qa.tushare_irm_qa_sh | 沪市董秘问答: 公司/问题/回答/pub_time, 保留原始文本; 按发布时间窗口获取。 | 18.8 万 行（2025–2026） |
sse_qa.tushare_irm_qa_sz | 深市董秘问答: 公司/问题/回答/pub_time/行业, 保留原始文本; 按发布时间窗口获取。 | 783 行（2020–2026） |
policy_docs.tushare_npr | 政策法规库: pubtime+标题/机构/类型/URL/content_html, 原文 HTML 与原始响应可追溯。 | 1.9 万 行（2000–2026） |
pbc_report.tushare_monetary_policy | 央行货币政策执行报告: 发布日/标题/URL/PDF URL/正文 HTML; 近期空窗口不等于全历史空。 | 103 行（2001–2026） |
announcements_raw.tushare_anns_d | 巨潮公告元数据: ts_code+ann_date+title+rec_time+url 身份; rec_time 只有日期时也能用不同 PDF URL 区分真实公告; 不是全文库。 | 109.8 万 行（2005–2026） |
ashare_sentiment.tushare_news_flash | 新闻快讯: 原生 datetime/title/content, 不把源未提供的时区或发布日期另行编造; 近期先行, 历史断点续跑。 | 273.4 万 行（2020–2026） |
ashare_security.security_master | A股每码一行的生命周期主视图; 缺失退市原因/旧码/重新上市证据保持NULL | 5,921 行（1990–2026） |
ashare_security.security_master_status_conflicts | 同代码多状态审计, 不自动推断重新上市 | 0 行 |
announcements_raw.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 2,712 行（2026–2026） |
ashare_features_ext.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 2,939 行（2026–2026） |
ashare_global_ext.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 1.2 万 行（2026–2026） |
ashare_security.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 109 行（2026–2026） |
ashare_sentiment.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 2,570 行（2026–2026） |
bond_yield_curve.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 2,868 行（2026–2026） |
cb.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 80 行（2026–2026） |
fund_holdings.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 6,633 行（2026–2026） |
pbc_report.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 48 行（2026–2026） |
policy_docs.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 396 行（2026–2026） |
sse_qa.special_coverage / special_runs / special_revisions / special_quarantine | 原始请求窗口、运行回执、修订与历史隔离; 错误/资源退避不当完成 | 2,117 行（2026–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
global_macro.china_macro_regime_monthly | 中国宏观首选月表: M1/M2/社融/PMI/PPI/CPI; 核心六项>=250个月, 单位与发布依据齐全 | 5,414 行（1951–2026） |
global_macro.china_macro_monthly | 多来源原生标准化月表: 保留每个源字段/主键/来源, 不覆盖不同口径或修订 | 8,724 行（1951–2026） |
global_macro.china_macro_regime_daily | 日频宏观: 只使用当日已发布的月度值, latest_publish_date 与 period 可检查 | 10.5 万 行（1990–2026） |
global_macro.china_macro_source_reconciliation_v / china_macro_monthly_coverage_v | 多来源对账与逐指标覆盖验收; 差异与不足月份明示 | 5,428 行（1951–2026） |
futures_inv.macro_series / macro_series_publication | 宏观兼容表与发布/单位元数据: 统计月与发布边界分开, 中国14项月度序列 | 5.5 万 行（1951–2026） |
futures_inv.macro_series_revisions | 中国宏观旧值/新值/来源修订留痕 | 811 行（2026–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_inv.macro_indicators | 商品综合指数与能源/建材/农产品指数源观测; obs_date与本地updated_at分开, 起止只按合法日期 | 78.5 万 行（1962–2026） |
futures_inv.macro_indicators_normalized_v | 规范化源视图: API原油库存原生万桶/100转百万桶, 保留原值/单位/转换依据, 不重复换算 | 78.5 万 行（1962–2026） |
futures_inv.macro_indicators_invalid_dates | 非法日期源行审计: 原文与source_rowid保留, 不进入研究表, 不改造成合法日期 | 554 行（2026–2026） |
futures_inv.research_macro_indicators_temporal_clean | 旧regime研究表: 源行可回溯, 四主序列逐值勾稽; 观测日过滤不等于完整历史发布时间PIT | 78.3 万 行（2026–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_inv.seasonality_baseline | 库存历史季节基线: 来源×品种×ISO周, 历史年均值+半幅波动带, 至少三年; 不使用当前年 | 1,887 行（2016–2025） |
futures_inv.seasonality_baseline_coverage | 全部79个品种及来源的合格/不足/无往年观测状态, 不用零值补齐 | 153 行（2020–2025） |
futures_inv.seasonality_baseline_bak_20261027 | 最近成功基线快照, 失败不推进 | 1,887 行（2016–2025） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
ashare_security.security_status_daily | 2005起逐年状态: ST/退市/停牌/上市窗口/涨跌停规则, 无证据不猜测 | 1668.0 万 行（2005–2026） |
ashare_security.security_status_year_coverage | 逐年行数与价格勾稽, 历史覆盖进度和未知项可查 | 22 行（2026–2026） |
ashare_security.security_industry_yearly / security_industry_conflicts | 按真实in_date/out_date的年度行业快照与多重归属 | 7.3 万 行（2005–2026） |
ashare_security.index_constituent_monthly / index_constituent_coverage | 历史权重月表与实际覆盖; 非公告时间PIT | 37.8 万 行（2005–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
ashare_security.adj_factor_quality / adj_factor_year_coverage | 复权因子、税前分红、前收与极端月逐年勾稽; 未解决异常明示 | 1620.9 万 行（2005–2026） |
ashare_security.security_event_overrides | 仅由正式公告正文证明的无涨跌幅日期, doc_id/PDF SHA可回溯 | 5 行（2026–2026） |
announcements_raw.announcement_event_versions / announcement_event_spans | 公告PDF原件、版本、提取文本与正文事件证据片段 | 1,338 行（2026–2026） |
announcements_raw.security_event_links / security_event_link_coverage | 异常日与公告证据精确关联及待补证状态 | 3,669 行（2007–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_inv.public_fundamental_latest / public_operating_rate_latest | 真实公开文本数值与开工率, reported_text/derived_arithmetic分开; 不是库存差分代理 | 236 行（2026–2026） |
futures_inv.public_fundamental_history / public_fundamental_history_coverage | 保留已有公开文本历史观测与来源日期, 按品种×指标×来源值类型统计覆盖; 不代表完整周频或供应商原始直连 | 3,091 行（2026–2026） |
futures_inv.public_fundamental_coverage | 逐指标最新截面的真实品种覆盖与首末日, 不把关键词命中当覆盖 | 189 行（2026–2026） |
ashare_security.security_universe_reconciliation / security_universe_unmapped | 在市清单与真实日线双侧对账, 停牌证据/旧代码/未知缺口保留 | 64.2 万 行（2005–2026） |
ashare_security.security_code_alias_history / security_code_alias_documents | 4条官方代码变更及4份官方哈希原文; 专用前缀码另有2份二手全文证据, 来源类别不混淆 | 11 行（2026–2026） |
ashare_security.security_source_code_map | 原生行情600018.SH→旧证券T600018.SH, relation_type=delisted_prefixed_code_to_native; 证据表old/new保留T→原生码关系, 新实体不回填, 不改写价格或复权因子 | 1 行（2026–2026） |
ashare_security.security_universe_code_alias_links | 实际使用的旧码链接及relation_type/有效边界; target_bar_present不证明新旧原始价格相等, 不用于价格去重 | 6,853 行（2005–2019） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
ashare_security.security_holder_structure_pit / security_holder_number_revisions | 按ann_date还原公告版本; 户数/户均持股(股)/户均金额(CNY)/前十大比例, 不用最新修订替代历史时点 | 106.9 万 行（2010–2026） |
ashare_security.security_holder_latest / security_holder_quarterly | 每报告期当前最新公告值, 仅近期查询; 历史研究不直接当作PIT快照 | 103.4 万 行（2006–2026） |
ashare_security.security_holder_top10_names / security_holder_top10_conflicts | 姓名级前十大明细与同名值冲突; 完全重复才合并, 不猜实体或任选源值 | 303.6 万 行（2005–2026） |
ashare_security.security_holder_top10 / security_holder_type_breakdown | 前十大比例与金融类型白名单机构比例; 冲突或超界比例置NULL, 不按名称猜测 | 147.5 万 行（2005–2026） |
ashare_security.security_holder_conflicts / security_holder_revision_periods / security_holder_coverage | 同公告冲突与跨公告修订分开, 逐字段有效覆盖可查 | 8,899 行（2015–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
ashare_supplement.suspend_d / _progress | 2005–2025源覆盖21年已验收, 2026续跑; _progress逐日覆盖, rows=0为已核验空日, 不代表未采集 | 75.6 万 行（2020–2026） |
ashare_security.security_status_daily / security_status_year_coverage | v9区分停牌/已核验无停牌/未知及暂停上市; partial_suspend_coverage不视为完成年 | 1668.0 万 行（2005–2026） |
ashare_security.security_listing_suspensions / security_listing_suspension_documents | is_listing_suspended: 3条暂停上市区间(含000552=20050510–20060330), 原文按版本留存; end_date为恢复日且不含, 不是全历史覆盖 | 9 行（2026–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
global_macro.industry_inventory_monthly / industry_inventory_coverage | NBS产成品存货原值/同比/单位与覆盖; GB/T不等于SW31, 产能/订单/未知发布日留NULL | 1.0 万 行（2001–2026） |
global_macro.nbs_industry_release_calendar / nbs_industry_financial_release | 官方发布日/原始证据与分行业收入成本利润, 不把利润表当库存 | 84 行（2026–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
fund_holdings.fund_nav / etf_nav_pit | 真实nav_date+ann_date净值公告版本与原始分页, 历史按覆盖表续跑 | 1327.9 万 行（2010–2026） |
fund_holdings.etf_market_daily / etf_market_coverage | 复用现有ETF行情, 接份额/净值/复权; 万份单位和PIT折溢价边界明确 | 318.3 万 行（2005–2026） |
ashare_supplement.cb_valuation_daily / cb_valuation_coverage | 真实转股条款与正股价; YTM完整现金流才算, 剩余规模不回填 | 76.9 万 行（2017–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
ashare_supplement.board_member_pit | 申万真实in/out区间、THS单快照、DC逐日快照分列, 不把快照冒充成员变更事件 | 55.7 万 行（2026–2026） |
ashare_supplement.board_index_daily / board_lifecycle | THS2008起与DC2025起原始字段; 当前成员数/活跃状态不倒填 | 568.0 万 行（2005–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_pit_extension.commodity_carry_daily / commodity_carry_coverage | 近远月价/OI/基差/前20持仓, pair_kind与available_date明示; SC等源缺口不补零 | 20.8 万 行（2010–2026） |
futures_pit_extension.commodity_carry_basis_source_divergence | 同品种同日多来源基差单独留痕, 不任意选值或产生重复行 | 0 行 |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
global_macro.industry_inventory_monthly / industry_inventory_coverage | NBS产成品存货原值/同比/单位与覆盖; GB/T不等于SW31, 产能/订单/未知发布日留NULL | 1.0 万 行（2001–2026） |
global_macro.nbs_industry_release_calendar / nbs_industry_financial_release | 官方发布日/原始证据与分行业收入成本利润, 不把利润表当库存 | 84 行（2026–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
fund_holdings.fund_nav / etf_nav_pit | 真实nav_date+ann_date净值公告版本与原始分页, 历史按覆盖表续跑 | 1327.9 万 行（2010–2026） |
fund_holdings.etf_market_daily / etf_market_coverage | 复用现有ETF行情, 接份额/净值/复权; 万份单位和PIT折溢价边界明确 | 318.3 万 行（2005–2026） |
ashare_supplement.cb_valuation_daily / cb_valuation_coverage | 真实转股条款与正股价; YTM完整现金流才算, 剩余规模不回填 | 76.9 万 行（2017–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
ashare_supplement.board_member_pit | 申万真实in/out区间、THS单快照、DC逐日快照分列, 不把快照冒充成员变更事件 | 55.7 万 行（2026–2026） |
ashare_supplement.board_index_daily / board_lifecycle | THS2008起与DC2025起原始字段; 当前成员数/活跃状态不倒填 | 568.0 万 行（2005–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_pit_extension.commodity_carry_daily / commodity_carry_coverage | 近远月价/OI/基差/前20持仓, pair_kind与available_date明示; SC等源缺口不补零 | 20.8 万 行（2010–2026） |
futures_pit_extension.commodity_carry_basis_source_divergence | 同品种同日多来源基差单独留痕, 不任意选值或产生重复行 | 0 行 |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
futures_inv.industry_weekly_actual / industry_weekly_actual_coverage | 247家高炉开工、主要钢厂螺纹/线材产量、社会/全国/钢厂库存; 原始观测不是价格公式 | 6,097 行（2006–2026） |
futures_inv.industry_profit_evidence | Mysteel/找钢网转引的吨钢利润, 原文观测日/报告日/URL明确, 不是连续周频或企业财务利润 | 13 行（2026–2026） |
| 库.表 | 口径 (一句话) | 覆盖 |
|---|---|---|
fund_holdings.fund_nav_pit_v | 净值真实公告日; 缺公告日只给下一交易日保守边界, pit_basis和source_ann_date_missing明示 | 1183.1 万 行（2010–2026） |
futures_pit_extension.mysteel_pta_production_monthly / mysteel_pta_inventory_weekly | PTA真实月产与周库存, 2025起公开原文; 环比冲突保留, 调查库存不是官方总库存 | 103 行（2025–2026） |
fundamentals_forward.capacity_supply_event_catalog / capacity_supply_event_evidence / capacity_supply_event_pdf | 2015起标题映射与PDF正文证据分级; 真实公告日/事件日/提前量分离, 混合商品产能不确定留NULL | 1,027 行（2015–2026） |
quant_views.iv_term_daily / iv_skew_daily | 2018起期权IV期限与偏度; 上游Greeks驱动, 近45日增量校验写入 | 38.2 万 行（2018–2026） |
quant_views.main_contract_l1_spread_daily | 2011起主力L1报价价差; 不是逐笔有效价差或真实冲击成本 | 23.4 万 行（2011–2026） |
tdx_db.tick_l2 — 期货 L2 五档 — 2026-10-23 起前向采集, 上期/能源/郑商所/广期所; 其他两所无权限, 不代表历史深度tdx_db.bar_1min__us__m016/17/18 — 外盘 1 分钟 — 服务器只留 2 个自然日, 漏跑即永久丢失tdx_db.tick_option — 期权逐笔 — 3-4 周滚动窗口, T+1 采集ashare_sentiment_hithink.skyrocket_rank / anomaly_event — 飙升榜 / 异动 — 2026-10-23 首日ashare_sentiment.*_pool — 情绪池 — 2026-10-21 起global_macro.macro_vintage_log — 宏观 vintage — 2026-10-02 起只追加, 历史首发日不可回溯futures_inv.position_rankings.first_seen — 持仓排名首次入库时刻 — 2026-10-23 起, 之前 NULL 不可反推ashare_global_ext.hk_daily / us_daily — 港美股日线 — 2026-10-27 起近期接入, 每日 18:58 更新, 历史按覆盖断点续跑global_macro.overseas_rate_series — 海外利率与美元流动性 — 2026-10-27 起接入 FRED 与 NY Fed, 每日增量+每周历史/修订复核hk_financials/us_financials.ts_financial_* — 港美股财务 — 样本已逐行验收, 全市场按证券/接口断点续跑, 低于4GB可用内存自动让行ifind_reference.ifind_edb_catalog — iFinD EDB 候选目录 — 24,270 条来自既有本地探测, 不是全量目录或当前时间序列global_macro.ifind_edb_series — 35个配置指标已在线接入并逐指标验收; 源rtime/原始hash/覆盖齐全, 统一worker按序更新announcements_raw.tushare_anns_d — 巨潮公告元数据, 目标2005起按日断点回填(已实测2007可取); 元数据不等于PDF全文, 以special_coverage为准TushareSpecialBackfill — 独立权限历史断点续跑, 每窗口原始响应+勾稽; 最近样本不是全历史futures_inv.research_macro_indicators_temporal_clean — RegimeTemporalCleanDaily1905定点刷新; 四主序列与源逐值一致, 源滞后>1天返回失败; 历史发布时刻仍需原始证据ashare_security.security_status_daily — 2005起逐年回填; 2026已完成当年勾稽, 早期停牌/限价源缺口保持未知, 不宣称全历史已验收ashare_security.index_constituent_monthly — 使用真实历史权重月份; 只有源日期, 尚无官方公告可得时间与逐次调样diff=0验收ashare_security.adj_factor_quality — 复权链逐年回填与复核, 以adj_factor_year_coverage为准; 税前分红/因子/前收异常不通过裁剪掩盖announcements_raw.announcement_event_versions — 仅选定异常日的PDF原文/文本, 不是全市场公告全文库; 下载失败和无文本层保留futures_inv.public_operating_rate_latest — 当前18个真实开工率品种, 不是50+完整覆盖; 频率和首发时刻无源保持NULLashare_supplement.suspend_d — 2005–2025共21年源覆盖已验收, 2026按当前交易日续跑; PIT/复权/其他量化覆盖以各自年度验收为准, 不混同fund_holdings.fund_nav — Tushare独立权限按日有界续跑, nav_date与ann_date双日期; 最近样本不等于2010起全历史global_macro.industry_inventory_monthly — NBS当前最新分行业库存期以源为准; 官方利润页没有分行业库存时不替代; SW31/产能/订单未覆盖ashare_supplement.board_member_pit — 真实SW成员区间+THS/DC快照证据, 概念板块完整PIT与注销史仍未全覆盖tdx_db.tick_l1_option — iFinD真实主力活跃期权L1已并入L2SnapDay/Night同一SDK会话; 是前向采集, 不是历史回补; 正式分片以manifest与实际报价验收为准fundamentals_forward.capacity_supply_event_evidence — 每日18:50串行处理60份最新+120份最老未处理公开PDF、请求间隔1.2秒, 文件锁与低内存退避; 当前直接正文事件不等于全品种长历史覆盖自动, 10 分钟缓存; JSON: GET /freshness (无需 token)。max_date 为数据截至, last_success_at 为上次成功更新。前向检验:<表> 行为五类回测关键表的表级留痕 (data_catalog.forward_sla_registry/forward_update_log, 每日链末步追加; missing=表不存在, sla_breach=超 SLA)。
| dataset | max_date | last_success_at | task | status |
|---|---|---|---|---|
| 知数原始 zhishu_obs | 20261031 | 2026-11-05T21:19:51 | ZhishuUpdateDaily2115 | SESSION_EXPIRED (status=SESSION_EXPIRED; max_date 只计不晚于今日的观测 (源端含预测期)) |
| 知数 PIT/复合 | 20261023 | build 20261023_213223 | ZhishuUpdateDaily2115/GlobalExtrasDaily2120 | ok |
| 官方持仓排名(六所) | 20261105 | - | ExchangeHoldingRankDaily1710 | ok (CFFEX:20261105 CZCE:20261105 DCE:20261105 GFEX:20261105 INE:20261105 SHFE:20261105) |
| 外盘日线/主力换月 | 2026-11-04 | - | OverseasExchangeDaily0720 | ok (front_contract max=2026-11-04, is_provisional=1 行 0) |
| 国内日线/1分钟 | daily=20261105, 1min_main=20261102 | - | vendor ingest (非定时构建表) | ok |
| 核心日度:合约日线 | 20261105 | 2026-11-05 17:44:49 | 多任务 (见 note) | ok [延迟 0 个交易日, 应到 20261105, 通常 T+0 17:44] (src: 交易所日行情 (实测 T 日 17:35~17:50 到库); 最新一期 1075 行; 到库规则 T+0 交易日 18:30) |
| 核心日度:主力映射/主力日线 | 20261105 | 2026-11-05 17:44:53 | 多任务 (见 note) | ok [延迟 0 个交易日, 应到 20261105, 通常 T+0 17:41] (src: tdx_bridge + 官方补缺 (实测 T 日 17:35); 最新一期 89 行; 到库规则 T+0 交易日 18:30) |
| 核心日度:现货价格 | 20261105 | 2026-11-05 19:50:44 | 多任务 (见 note) | ok [延迟 0 个交易日, 应到 20261105, 通常 T+1 01:27] (src: 100ppi/SMM via AKShare (实测 T 日 19:30~20:45, 偶有 T+1); 最新一期 54 行; 到库规则 T+0 交易日 21:00) |
| 核心日度:基差 | 20261105 | 2026-11-05 19:43:52 | 多任务 (见 note) | ok [延迟 0 个交易日, 应到 20261105, 通常 T+0 17:51] (src: 现货 - 期货参考合约 (实测 T 日 17:45~20:50); 最新一期 3 行; 到库规则 T+0 交易日 21:00) |
| 核心日度:库存(品种日度) | 20261105 | 2026-11-05 19:43:52 | 多任务 (见 note) | ok [延迟 0 个交易日, 应到 20261105, 通常 T+0 18:03] (src: 东方财富库存 kcsj 等 (实测 T 日 17:50~18:15); 最新一期 59 行; 到库规则 T+0 交易日 19:00) |
| 核心日度:交易所库存(东财/周报) | 20261105 | 2026-11-05 23:21:01 | 多任务 (见 note) | ok [延迟 0 个交易日, 应到 20261104, 通常 T+1 17:59] (src: eastmoney-akshare + tushare_wsr (实测 T+1 日 18:00, 源站次日更新); 最新一期 72 行; 到库规则 T+1 交易日 19:00) |
| 核心日度:仓单 | 20261105 | 2026-11-05 23:21:43 | 多任务 (见 note) | ok [延迟 0 个交易日, 应到 20261105, 通常 T+0 17:16] (src: 交易所官方仓单日报 (实测 T 日 17:16, 节后偶有 T+1); 最新一期 76 行; 到库规则 T+0 交易日 18:30) |
| series_status | 2026-11-05 21:25:23 | rows=79533 | GlobalExtrasDaily2120 | ok |
| 分层库存 | 20261104 | - | ZhishuUpdateDaily2115 链路 | ok |
| 产能事件 all_news | 20261031 | - | capacity collectors | ok |
| pit_ext:position_rank_unified | 20261104 | 2026-11-04T23:39:40 | PitExtBuildersDaily2200 | ok (src: position_rankings+official) |
| pit_ext:intraday_daily_official_main | 20261104 | 2026-11-04T23:40:08 | PitExtBuildersDaily2200 | ok (src: futures_derived 官方主连) |
| pit_ext:intraday_vendor_daily | 20261102 | 2026-11-04T23:40:02 | PitExtBuildersDaily2200 | ok (src: vendor 1min 输入停 09-30) |
| pit_ext:calendar_spread_main_secondary_ext | 20261104 | 2026-11-04T23:40:48 | PitExtBuildersDaily2200 | ok (src: futures_derived calendar_spread_daily) |
| pit_ext:continuous_causal_daily_ext | 20091231 | 2026-11-04T23:41:00 | PitExtBuildersDaily2200 | ok (src: 设计口径: 2005-2009 因果连续研究窗, 非停更) |
| pit_ext:spot_basis_daily_pit | 20261104 | 2026-11-04T23:41:02 | PitExtBuildersDaily2200 | ok (src: futures_inv spot/basis_daily) |
| pit_ext:profit_daily_pit | 20261104 | 2026-11-04T23:41:03 | PitExtBuildersDaily2200 | ok (src: profits_unified profit_daily) |
| pit_ext:event_calendar_daily | 20261104 | 2026-11-04T23:41:05 | PitExtBuildersDaily2200 | ok (src: global_macro wasde/em_macro) |
| pit_ext:weather_product_daily | 20261028 | 2026-11-04T23:41:21 | PitExtBuildersDaily2200 | ok (src: futures_weather weather_region_daily) |
| pit_ext:external_overnight_daily | 20261103 | 2026-11-04T23:41:26 | PitExtBuildersDaily2200 | ok (src: tdx_db 美盘日线) |
| pit_ext:cftc_product_weekly | 20261027 | 2026-11-04T23:41:27 | PitExtBuildersDaily2200 | ok (src: global_macro cftc_disagg_futures) |
| pit_ext:orderflow_daily | 20261103 | 2026-11-04T23:54:00 | PitExtBuildersDaily2200 | ok (src: vendor L1 + tdx_tick 订单流) |
| pit_ext:orderflow_main_daily | 20261103 | 2026-11-04T23:54:03 | PitExtBuildersDaily2200 | ok (src: vendor L1 + tdx_tick 主连订单流) |
| pit_ext:sector_fundamental_daily | 20261023 | 2026-11-04T23:52:02 | PitExtBuildersDaily2200 | ok (src: zhishu_product_daily 板块中位) |
| pit_ext:sector_position_daily | 20261104 | 2026-11-04T23:53:42 | PitExtBuildersDaily2200 | ok (src: position_rank_unified 板块合计) |
| pit_ext:subsector_fundamental_daily | 20261023 | 2026-11-04T23:53:38 | PitExtBuildersDaily2200 | ok (src: zhishu_product_daily 子板块中位) |
| pit_ext:subsector_position_daily | 20261104 | 2026-11-04T23:53:51 | PitExtBuildersDaily2200 | ok (src: position_rank_unified 子板块合计) |
| macro_release_log_cn | 20261102 | - | GlobalExtrasDaily2120 | ok |
| release_log_mysteel_v2 | 2026-11-05 | - | GlobalExtrasDaily2120 | ok |
| cisa_xunbao | 2026-10-10 | - | 手工 fetch_cisa_xunbao.py (frozen, 无定时任务) | ok |
| capacity_announcements_cninfo | 20261105 | 2026-11-05 22:12:23 | GlobalExtrasDaily2120 (update_capacity_announcements_cninfo.py) | ok (fb37 R3: 2026-10-18 起每晚增量 (14 天回看); max_date = 最新公告日, 公告本身稀疏, 隔几天无新公告属正常) |
| SPDR ETF 持仓 GLD/SLV | 2026-11-04 | 2026-11-05 21:29:51 | GlobalExtrasDaily2120 | ok |
| 上金所基准价(金/银 早晚盘) | 2026-11-03 | 2026-11-05 21:29:51 | GlobalExtrasDaily2120 | ok |
| 作物产区天气(20点 2源) | 2026-11-02 | 2026-11-05 21:31:27 | GlobalExtrasDaily2120 | ok |
| USDA PSD 全量(每期发布快照, 2026-10 起留档) | 2026-10 | 2026-10-30 21:30:42 | GlobalExtrasDaily2120 | ok (每期发布一份快照, 键含 release_month; 已留档 1 期, 最新一期可得日 2026-10-30; 2026-10 起逐期留档, 此前各期的数值是后来修订值、不是当时可见值, 不能用于回测 (历史 vintage 用 wasde_cells); 回测按 available_date <= 交易日 过滤; 发布记录 usda_psd_release_log) |
| FAO 食品价格指数(月度) | 2026-09-01 | 2026-11-05 21:32:34 | GlobalExtrasDaily2120 | ok |
| GDELT 新闻语调(54品种 英文全球) | 2026-11-03 | 2026-11-05 23:04:17 | GlobalExtrasDaily2120 | ok (有数据 54/54 品种 (语调 54, 篇数 54), 其余待回补 (GDELT 429 限流; 每晚 R13 增量 + R14 回补 60 分钟, 最新年份优先、1 年一请求, 连续 6 次 429 熔断); 逐品种 语调/篇数: A 2022-01-01~2026-10-22 / 2022-01-01~2026-10-22; AG 2022-01-01~2026-10-27 / 2023-01-01~2026-10-23; AL 2022-01-01~2026-10-21 / 2022-01-01~2026-10-21; AO 2022-01-01~2026-10-27 / 2022-01-01~2026-10-27; AP 2022-01-01~2026-10-24 / 2023-01-01~2026-10-24; AU 2022-01-01~2026-10-27 / 2022-01-01~2026-10-27; BU 2021-01-01~2026-10-21 / 2022-01-01~2026-10-21; C 2021-01-01~2026-11-03 / 2022-01-01~2026-10-21; CF 2022-01-01~2026-10-24 / 2021-01-01~2026-10-24; CS 2021-01-01~2026-10-19 / 2021-01-01~2026-11-03; CU 2021-01-01~2026-10-22 / 2021-01-01~2026-10-21; EB 2021-01-01~2026-10-17 / 2021-01-01~2026-10-19; EC 2022-01-01~2026-10-22 / 2022-01-01~2026-10-21; EG 2021-01-01~2026-10-19 / 2021-01-01~2026-10-20; FG 2022-01-01~2026-10-21 / 2022-01-01~2026-10-21; FU 2018-01-01~2026-10-27 / 2017-01-01~2026-10-27; HC 2018-01-01~2026-10-22 / 2020-01-01~2026-10-21; I 2017-01-01~2026-10-27 / 2017-01-01~2026-10-27; J 2018-01-01~2026-10-20 / 2017-01-01~2026-11-03; JD 2021-01-01~2026-10-27 / 2022-01-01~2026-10-27; JM 2022-01-01~2026-10-22 / 2021-01-01~2026-10-21; L 2022-01-01~2026-10-22 / 2021-01-01~2026-10-22; LC 2022-01-01~2026-10-22 / 2022-01-01~2026-10-22; LH 2021-01-01~2026-10-19 / 2022-01-01~2026-10-17; LU 2022-01-01~2026-11-03 / 2021-01-01~2026-10-20; M 2022-01-01~2026-11-03 / 2022-01-01~2026-10-19; MA 2021-01-01~2026-10-27 / 2022-01-01~2026-10-27; MACRO_CN 2022-01-01~2026-10-21 / 2022-01-01~2026-10-22; MACRO_FED 2023-01-01~2026-10-25 / 2021-01-01~2026-10-26; MACRO_TARIFF 2023-01-01~2026-10-22 / 2022-01-01~2026-10-22; NI 2022-01-01~2026-10-27 / 2022-01-01~2026-10-21; OI 2021-01-01~2026-10-17 / 2022-01-01~2026-10-17; P 2022-01-01~2026-10-27 / 2023-01-01~2026-10-27; PB 2022-01-01~2026-10-27 / 2022-01-01~2026-10-27; PD 2022-01-01~2026-10-22 / 2022-01-01~2026-10-21; PG 2022-01-01~2026-10-27 / 2022-01-01~2026-10-27; PP 2022-01-01~2026-10-27 / 2021-01-01~2026-10-27; PT 2022-01-01~2026-10-22 / 2022-01-01~2026-10-22; RB 2019-01-01~2026-10-27 / 2021-01-01~2026-10-27; RM 2022-01-01~2026-10-20 / 2022-01-01~2026-10-22; SA 2022-01-01~2026-10-27 / 2021-01-01~2026-10-27; SC 2022-01-01~2026-10-22 / 2022-01-01~2026-10-22; SF 2022-01-01~2026-11-03 / 2023-01-01~2026-10-19; SH 2022-01-01~2026-11-03 / 2022-01-01~2026-11-03; SI 2022-01-01~2026-10-21 / 2022-01-01~2026-10-21; SM 2021-01-01~2026-10-19 / 2021-01-01~2026-10-19; SN 2022-01-01~2026-10-22 / 2021-01-01~2026-10-22; SR 2022-01-01~2026-10-27 / 2022-01-01~2026-10-21; SS 2022-01-01~2026-10-27 / 2023-01-01~2026-10-25; TA 2021-01-01~2026-10-19 / 2021-01-01~2026-10-19; UR 2021-01-01~2026-10-27 / 2022-01-01~2026-10-22; V 2022-01-01~2026-10-22 / 2021-01-01~2026-10-20; Y 2022-01-01~2026-10-27 / 2022-01-01~2026-10-19; ZN 2022-01-01~2026-10-27 / 2022-01-01~2026-10-27) |
| 维基浏览量(en/zh 54品种) | 2026-11-04 | 2026-11-05 22:03:17 | GlobalExtrasDaily2120 | ok (54 个品种; 重定向条目按目标页+原标题合计, 代理页/共用页/低流量(近 365 天日中位 <20) 标注见 wiki_article_map) |
| 文本挖掘周度库存(间接源) | 2026-11-05 | 2026-11-05 23:15:14 | GlobalExtrasDaily2120 | ok (间接源: 券商/资讯报告正文转述的周度社会库存, 非原始口径; 48 品种 7815 行; 命中可追溯 text_mined_inventory_hits (doc_id)) |
| 美国干旱监测 USDM(周度) | 2026-11-03 | 2026-11-05 22:05:15 | GlobalExtrasDaily2120 | ok (16 个区域 (CONUS / US_TOTAL + 14 个主产州), 2000-01 起每周; 累计口径 d0_pct = D0 及以上; available_date = map_date + 2 天 (美方周四发布)) |
| USDA NASS 作物进度/长势(周度) | 2026-11-01 | 2026-11-03 21:52:59 | GlobalExtrasDaily2120 | ok (50 个作物, 全国+州, 1979 起; 官方 Quick Stats 全量包, 新一周发布后下载; available_date = week_ending + 2 天 (北京时间周二), 周一逢美国联邦假日再 +1 (规则推定)) |
| NOAA CPC 6-10/8-14 天展望(日度) | 2026-11-04 | 2026-11-05 22:05:25 | GlobalExtrasDaily2120 | ok (10 个美国产区点的 6-10 / 8-14 天温度与降水概率展望; 已入 4962 个发布日 (最早 2012-09-11; 源档案 2012-09-11 起, 未补完部分每晚 R16 续补); available_date = fcst_date + 1 天) |
| NASA GLAM 植被指数 NDVI(8 日) | 2026-09-13 | 2026-11-05 22:05:35 | GlobalExtrasDaily2120 | ok (61 个农作物主产区, VIIRS 8 日合成 NDVI, 2012 起; anom = 当期 - 2013~2025 同期均值; available_date_assumed = 合成期末 + 7 天 (推定); 源本身滞后约 1 个月) |
| 国家统计局月度(全国) | 202609 | 2026-11-01 09:10:02 | NbsMonthlyDaily0900 | ok (全国, 603 个月度目录, 1990 起, period = YYYYMM; 同一指标按统计制度分段在不同目录; 首跑回填历史的 first_seen_at = 回填时间, 不是发布时间; 修订记录 nbs_monthly_revisions) |
| global_macro 只读快照(写锁兜底) | 2026-11-05 23:10:12 | 2026-11-05 23:10:57 | GlobalExtrasDaily2120 | ok (源库被写锁时 /sql 改读此快照) |
| 框架实时信号(纸面交易基准) | 20261105 | - | FrameworkLiveSignalsDaily | ok (当前体系 (v2.9b 基本面 14 项 × HMM 状态乘数 + 趋势 d) 逐日目标头寸, T+2 收盘执行; 纸面交易基准; 207934 行; 当月 VRP 选中见 framework_live_vrp_picks_fw16) |
| 真前向记录(fw23, 2026-10-19 起) | 20261105 | - | FrameworkLiveSignalsDaily | ok (forward_record_days=14; fund/trend/vrp 三腿逐日净收益, 只含 2026-10-19 及之后的真实前向行; 纸面账 framework_paper_ledger_fw17 的 reconstructed=1 行为倒推重建, 不是前向证据) |
| 历史改写留痕(新表) | 2026-11-05 21:38:20 | - | 修复脚本逐次记录 | ok (最近 5 次改写: czce_official_20261105_213820 wsr_detail/MA 20261104-20261105 n=68 action=rewrite; czce_official_20261105_171619 wsr_detail/PTA 20261105-20261105 n=26 action=rewrite; czce_official_20261104_171616 wsr_detail/PTA 20261104-20261104 n=26 action=rewrite; czce_official_20261103_213819 wsr_detail/MA 20261103-20261103 n=34 action=rewrite; czce_official_20261103_171616 wsr_detail/PTA 20261103-20261103 n=26 action=rewrite) |
| final_decision_snapshot.csv(行内日期) | 20260709 | 2026-11-05 20:44:39 | AutoSystemDaily2030 | ok (max_date=行内 max(trade_date); 文件每晚重写但内容冻结; 权威快照 information/auto_system/latest.json) |
| 贵金属预测快照(停更) | 2026-10-22 | 2026-10-22T01:34:50.980707+00:00 | Codex run_precious_automated_update | stale (stale_since=2026-09-26: GFEX 仓单端点返回 HTML; 上游属 Codex 贵金属自动化; fb41-55 D1 已建 futures_inv 视图 wsr_pt_pd_daily_v / wsr_pt_pd_total_v 并给 Codex 端打非 JSON 回退补丁 (source=data_foundation_wsr_detail)) |
| 模型报告历史存档(新表) | 20261105 | 2026-11-05T23:15:25 | GlobalExtrasDaily2120 | ok (1569 行; 4 张模型产出表内容哈希快照, 内容未变不写, 每日至多一份) |
| 商品ETF日度规模(新表) | 20261104 | 2026-11-05T13:52:25 | FundSupplementDaily1940 | ok (9 只商品/黄金 ETF; scale_est=shares*nav (万元)) |
| 供给中断事件PIT(新表) | 20261106 | - | 每日链 legacy/sync_events_to_db.py | ok (available_date: ingest<15:00 且交易日=当日, 否则下一交易日; backfilled=32870 live=1625 (回填行的 available_date 是入库日, 不是事件日, 回测勿按 release_time 取用)) |
| LLM 研报结构化(完成) | 20261020 | - | llm_report_struct_fb41.py phase2a | ok (docs=5129 ok=5129 全部完成 (phase1 glm_coding 665 + phase2a deepseek 4447, ~16.9M tok, 上限 60M 未触); LLM 抽取篇级语义未经人工复核, 回测按 available_date) |
| fw25 小资金整手目标手数(新表) | 20261030 | - | FrameworkLiveSignalsDaily | ok (fw25 采纳小资金整手目标手数 (S20_1M=alpha0.20 M1 L2.0 T1 采纳; L1_1M=M3 L1.0 无杠杆参考); target_lots(T) 用 <=T 数据, 应于 T+1 收盘成交、T+2 起计收益 (回测 T-2 决策/T-1 成交同口径); paper_equity 自 2026-10-21 起按自身净收益前向复利, 手数名义按固定 100 万; rows=188 variants=2) |
| fw25 前向记录(2026-10-21 起) | 20261105 | - | FrameworkLiveSignalsDaily | ok (fw25 两 variant (fw25_s20_1m/fw25_l1_1m) 纸面净值前向记录, 仅 2026-10-21 及之后, reconstructed=0; forward_record_days=12) |
| 会员背景分类表(新表) | 2026-10-21 | - | audit/fb56 (一次性) | ok (会员背景分类 1194 会员 (已分类 418); top20 持仓占比口径 88.9%, 残余 unknown 以通用占位为主, 不猜; fw26 因子源) |
| PSD/NBS 修订留痕(新机制) | 2026-10-21 | - | GlobalExtrasDaily2120/NbsMonthlyDaily0900 | ok (修订留痕机制 2026-10-21 上线: psd_vintage_revisions=0 行 (新 PSD release 入库时与上期比对), nbs_monthly_revisions=0 行 (NbsMonthlyDaily0900 每次运行比对); 历史 vintage 不可得, 无法回填) |
| 利润/基差停更状态(降级) | 2026-06-09 | - | 见 stale_reason | stale (多序列停 2026-06-09: basis_daily_ext=live_normal; cost_profit_series=live_normal; profit_public_weekly=live_normal; spot_prices_daily=live_normal; 注意 cost_profit_series 为 market_daily 公式代理, 非路线级直接工业利润) |
| 产能公告品种映射(提升) | 2026-10-21 | - | GlobalExtrasDaily2120 (幂等 remap) | ok (product_ids 468/4417 (10.6%; kept 口径 13.0%), product_map_method 区分 existing_kw/alias_title/company_single_family; 只填空行) |
| 全球库存吨归一(复核) | 20261015 | - | 每日链 | ok (94369 行; value_tonnes 已统一吨 (短吨x0.9072/盎司x31.1e-6/磅x0.4536e-3), unit_norm_note 记规则) |
| fw27 前向记录(2026-10-26 起) | 20261103 | - | FrameworkLiveSignalsDaily | ok (fw27 V/A2/A3 真前向观察 (V 票据 >=2026-10-26 起, p4600 口径, append-only hash 链; F 取生产 live 口径); forward_days=7) |
| task:ZhishuUpdateDaily2115 | - | 2026/11/5 21:15:01 | ZhishuUpdateDaily2115 | ok (LastResult=4) rc含义: 知数会话过期 SESSION_EXPIRED: 当晚无增量, 需浏览器重新登录后补跑 |
| task:GlobalExtrasDaily2120 | - | 2026/11/5 21:20:01 | GlobalExtrasDaily2120 | ok (LastResult=0) rc含义: 成功 |
| task:ExchangeHoldingRankDaily1710 | - | 2026/11/5 17:10:01 | ExchangeHoldingRankDaily1710 | ok (LastResult=0) rc含义: 成功 |
| task:OverseasExchangeDaily0720 | - | 2026/11/5 7:20:01 | OverseasExchangeDaily0720 | ok (LastResult=0) rc含义: 成功 |
| task:GfexOfficialDaily1950 | - | 2026/11/5 19:55:01 | GfexOfficialDaily1950 | ok (LastResult=0) rc含义: 成功 |
| task:CninfoAnnouncementsDaily1800 | - | 2026/11/5 18:06:01 | CninfoAnnouncementsDaily1800 | ok (LastResult=75) rc含义: 未登记返回码 |
| task:SupplySideSeriesDaily2145 | - | 2026/11/5 21:45:01 | SupplySideSeriesDaily2145 | ok (LastResult=0) rc含义: 成功 |
| task:FundamentalDaily1730 | - | 2026/11/5 17:30:00 | FundamentalDaily1730 | ok (LastResult=267009) rc含义: 正在运行 (0x41301, 不是失败; 上次结果尚未产生) |
| task:PitExtBuildersDaily2200 | - | 2026/11/5 22:00:01 | PitExtBuildersDaily2200 | ok (LastResult=267009) rc含义: 正在运行 (0x41301, 不是失败; 上次结果尚未产生) |
| task:NbsMonthlyDaily0900 | - | 2026/11/5 9:03:01 | NbsMonthlyDaily0900 | ok (LastResult=267014) rc含义: 被用户/系统终止 (0x41306) |
| task:FrameworkLiveSignalsDaily | - | 2026/11/5 21:55:01 | FrameworkLiveSignalsDaily | ok (LastResult=0) rc含义: 成功 |
| task:FrameworkMonthlyRevalidation | - | 2026/11/1 3:30:00 | FrameworkMonthlyRevalidation | ok (LastResult=1) rc含义: 失败 (脚本未捕获异常或 bat 任一步非零) |
| 前向检验:contract_market_daily | 20261105 | 2026-11-05 17:44:49 | FundamentalDaily1730 | sla_ok (owner=FundamentalDaily1730 应到 17:30; tushare fut_daily 日线行情) |
| 前向检验:fut_daily | - | - | - | missing (owner=- 应到 -; spec J 候选; fb57 核对: futures_inv 与各 duckdb 均无此表) |
| 前向检验:position_rankings | 20261105 | 2026-11-05 18:31:37 | ExchangeHoldingRankDaily1710 | sla_ok (owner=ExchangeHoldingRankDaily1710 应到 17:10; 交易所持仓排名(tushare)) |
| 前向检验:position_rank_unified | 20261104 | - | PitVintageDaily2155 | sla_ok (owner=PitVintageDaily2155 应到 21:55; PIT 统一排名; 无 ingest_time 列记 NULL) |
| 前向检验:exchange_holding_rank_official | 20261105 | 2026-11-05 17:11:36.029541 | ExchangeHoldingRankDaily1710 | sla_ok (owner=ExchangeHoldingRankDaily1710 应到 17:10; 交易所官方排名文件) |
| 前向检验:warehouse_receipt_series | 20261105 | 2026-11-05T22:52:07 | ExchangeHoldingRankDaily1710 | sla_ok (owner=ExchangeHoldingRankDaily1710 应到 17:10; 仓单序列(产品日汇总)) |
| 前向检验:wsr_official_hist | 20261105 | 2026-11-05T21:38:02 | ExchangeHoldingRankDaily1710 | sla_ok (owner=ExchangeHoldingRankDaily1710 应到 17:10; 交易所官方仓单历史) |
| 前向检验:term_structure_daily | 2026-11-05 00:00:00 | - | FundamentalDaily1730 | sla_ok (owner=FundamentalDaily1730 应到 17:30; 无 ingest_time 列记 NULL) |
| 前向检验:spot_prices_daily | 20261105 | 2026-11-05T19:50:44.498348 | FundamentalDaily1730 | sla_ok (owner=FundamentalDaily1730 应到 17:30; 现货日价) |
| 前向检验:spot_basis_daily_pit | 20261104 | - | PitVintageDaily2155 | sla_ok (owner=PitVintageDaily2155 应到 21:55; PIT 现货基差; 无 ingest_time 列记 NULL) |
使用本数据基座的 AI:访问结束后请把意见填在这里(哪些数据好用、缺什么、文档哪里看不懂、报错体验等)。 收集到的意见会用于持续优化本站点与数据基座。无需 token,每条不超过 4000 字符。
程序化提交: POST https://liji538.top/feedback,
JSON body {"text": "你的意见"},无需认证。