长期投资系统 · 行情数据与质量 · 现场验收 2026-11-05T14:58:06.276812+00:00(UTC,台北 +8)
多源获取已扩展,异常进入持续追查
新增两条持续采集渠道已覆盖 46 只美股 ETF 和 2 个加密资产。发行人净值、Fed 外汇参考和 CPER 人工网页证据已入旁证库。近期日更未见有效序列缺口;全历史质量尚未全部通过,状态保持 degraded。
先核对主研究:债券工具 70 组比较已完成;最新聊天完成“报告驱动选择变动资产”的可行性分析,未改持仓或形成新收益结论。本次只改变数据模块,保留已冻结的研究输入与既有回测。
来源广度与实际能力
| 范围 | 渠道 | 本轮实测 | 边界 |
|---|
| 美股 ETF | Yahoo + Nasdaq + 新增 StockAnalysis / S&P Global | 新增源 46 只、690 条,至 11/04 | 接入既有每日备源流程;仅存价格,不冒充总收益;公开页面实测 50 行 |
| 加密资产 | Yahoo + Coinbase + Kraken + 新增 Bitstamp | BTC、ETH;Bitstamp 42 条,至 11/04 | 场所不同;两场所容差核验仅生成价格代理,不拼成聚合总收益 |
| 中国 ETF | Yahoo + 腾讯原始/前复权 | 5 只;两类腾讯各 80 条,至 11/05 | 腾讯两接口同源;东方财富、新浪本轮超时,不算可用备份 |
| CPER 历史旁证 | USCF 发行人净值 + Investing 页面人工核验 | 净值 3,767 条;两天市场收盘数字获旁证 | NAV 不是成交价;人工页面上游/调整/许可未确认,不自动采集 |
| 外汇参考 | Yahoo + 既有 ECB + 新增 Fed H.10 日元参考 | Fed 6,727 条,至 10/30;CNY/JPY 主源闭市记录至 11/04 | Fed 是纽约午间定盘的历史快照;不冒充每日收盘、未设自动刷新 |
公开源有访问与口径限制。Stooq 返回网页校验、FinanceCharts 转验证页,未绕过;Intrinio 列有 CPER 历史产品但尚无授权访问,不计入可用源。Nasdaq 公开历史说明最多十年,四个旧日期均已实测无可用行,停止对不支持窗口的重复重试。
CPER 四个日期:把问题拆开
| 日期 | 原收盘 USD | 发行人 NAV USD | 另一历史页面 | 当前判断 |
|---|
| 2014-12-04 | 13.05 | 19.71 | 未列出该日(不等于无成交证明) | 继续核实成交/报价 |
| 2014-12-05 | 19.56 | 19.63 | 19.56 | 收盘数字获旁证;调整口径待核 |
| 2015-02-02 | 11.90 | 16.85 | 未列出该日(不等于无成交证明) | 继续核实成交/报价 |
| 2015-02-03 | 17.34 | 17.46 | 17.34 | 收盘数字获旁证;调整口径待核 |
19.56 与 17.34 获得公开市场价格旁证;13.05 与 11.90 仍待正式成交资料。缺行不证明无成交,净值也不能替代收盘。四日原始记录与部署前备份完全一致,仍从有效价格/总收益及旧 research_daily 入口排除;本轮没有生造修正价,没有生成已激活的价格修订。
历史页面人工筛选区间为 2014-12-01 至 2015-02-06。页面上游独立性与调整方式尚未核清,仅记录有限人工旁证。具体追查字段与区间见 历史行情核验需求草稿(尚未发送)。
问题清单与处理顺序
| 优先级 | 问题 | 证据/影响 | 处理建议 |
|---|
| P1 | CPER 四日仍未完全结案 | 两异常下跌日原值 13.05、11.90 且量为 0;两个反弹日的原收盘获另一页面支持 | 优先取得官方最后成交/收盘及零成交说明;两反弹日核清调整因子和上游独立性后再放行 |
| P1 | 历史问题队列 1,021 条,已恢复 1 条,未关闭 1,020 条 | 外汇 927、中国 ETF 90、CPER 4;含 399 条全字段缺失和 618 条 OHLC 不一致,不等于同数量真实交易日缺口 | 先对照历史交易日历、上市日期和休市占位;再按标的与日期批量追查。中国/外汇旧历史自动修复尚未实现 |
| P1 | Nasdaq 对 IBIT 当轮与单次复试均失败 | 返回空数据或标的不匹配;新增 S&P 源成功取得 15 条,原有 Nasdaq 记录仍在 | 保留故障记录和第三源,后续现有修复任务重试;不能把旧备份存在视作本次请求成功 |
| P2 | CNY/JPY 供应商代码别名导致拒收,已修复 | 原响应分别返回 USDCNY=X / USDJPY=X;精确校验币种、方向、类型后原响应重验成功 | 保留别名白名单和身份失败告警;历史 OHLC 异常另案处理 |
| P2 | 近期完整不代表全历史或独立总收益认证 | 53 个非外汇标的近 30 天有效价格与复权字段缺口为 0;FX 另查最新闭市日期 | 继续追查历史工单、分红与拆股因子;中国日历支持至 2026-12-31,需到期前更新 |
核查机制已经落地
- 记录每个来源的标的身份、币种、时区、价格/复权/净值口径、上游家族、原始响应哈希;验证 OHLC、重复日期、未来时间、闭市缓冲和交易日历。新增急跌后急升回到原区间的双日复核规则。
- 日常备源按重叠数据核验:美股至少 5 个重叠日、收盘差异容差 0.1%;加密场所容差 0.5%。冲突不直接挑有利价格。单源修复只在现有重叠验证规则下生成明确标记的价格;价格、净值与总收益分开。
- 异常工单保存原值、旁证、历次状态和下一动作,不随近期窗口滚出而消失。现有每日 backup/repair 流程每轮最多追查 2 个旧美股问题,失败 7 日退避;超出已知历史范围转向其他档案。中国/外汇旧历史目前保存工单和参考值,尚未实现自动历史补采。
- 历史改价需同口径、独立上游的两源证据和审核时的证据哈希;NAV、交易所代理和未核实调整方式不能投票。修订覆盖层保留原始观测与事件日志;支持证据变化时撤销。当前 Nasdaq 调整口径未认证,不参与自动历史改价共识。
- 修复加锁顺序与有限等待:取得锁后再建连接和迁移,避免迁移抢写;结构更新原子提交。使用既有调度,无新增定时任务,无手动服务重启。
验收与回退证据
Windows 58 项、Linux 56 项已运行测试通过(既有 FRED 用例数有差异;本轮新增 10 项核验测试均在两端通过)。数据库 quick_check 为 ok,外键检查及有效序列重复键检查无结果;CPER 原值保持,原始证据哈希匹配,部署代码与本地逐文件哈希一致。
部署前一致性备份:/var/lib/investment-data/backups/quality-expansion-20261105/before.sqlite3,旧源码及后续小补丁在同目录。日常最新备份也已刷新。备份仍位于同一宿主,本轮未做异机灾备演练;既有每日服务当轮失败状态如实保留,不把后续局部修复记成整条流水线通过。
机器证据:最终只读验收 · 核查与工单状态 · 测试与代码一致性 · CPER 人工旁证 · 历史分类与复试。旁证入库与最终工单状态发生在分类结果之后,以最终验收时间为准。
外部依据:USCF 发行人 · S&P Global 历史页与口径 · Bitstamp 文档 · Fed 日元参考 · CPER 人工历史核验 · Nasdaq 十年范围 · 候选授权档案。