← 调研中心生产验证专题 · 08 / 08

Immutable snapshot · Atomic publish · Drift attribution

RAG 知识变更治理
与质量漂移

把索引从“被覆盖的文件”升级成可追溯、可灰度、可回滚的知识版本;本地基准验证最新删除墓碑跨回滚生效,漂移按数据、检索、生成和业务分布分别定位。

2026-08-3118 SCENARIOS36 RUNS104 ASSERTIONS300 EVENTS32 TESTSNO API / KEY
证据边界

本报告完成了本地流水线审计和单进程确定性快照实验。没有真实向量库、Embedding/LLM、生产语料、线上流量、租户权限系统或真人标注;控制结果不代表真实 RAG 质量、延迟、成本或安全率。

01 · Decision

线上知识应是不可变快照,不是被原地覆盖的索引

候选版本在独立目录完整构建,通过 Manifest、评测和 canary 后用 CAS 原子切换活动指针。本地基准已验证最新删除墓碑在回滚旧快照后继续生效;强制 ACL 跨回滚覆盖仍是待验证的生产设计。

18 / 18Guarded 场景控制通过
17 / 17Naive 故障阳性对照全部被识别
36 / 36Harness expectation 匹配
8 / 8发布与回滚状态全部覆盖

ACTIVE · snapshot-current

只读完整版本,当前查询流量指向这里。

manifest verified · current ACL policy · tombstone epoch N
CASPOINTER

CANDIDATE · snapshot-next

独立 staging,未通过全部门禁前不可见。

expected parent snapshot-current · canary pending

上图是架构语义示意,不是实验中的真实快照编号、ACL 版本、墓碑数值或线上灰度比例。

GLOBAL TOMBSTONE EPOCH N+1:删除是跨版本覆盖。即使回滚到删除前快照,已删除内容也不得复活。

02 · Local audit

现有流水线能复现一次构建,还不能治理活动知识版本

已经有

六步流水线、输入指纹、SQLite 断点、坏行隔离、PII 门禁、Golden Set、Hit@3 发布线和失败恢复。

历史夹具

4 份模拟文档、24 通模拟会话、16 条 Golden;混合索引 Hit@1/MRR 1.0 只描述 2026-07-30 小型夹具。

仍缺少

不可变快照、Manifest、活动指针、原子发布、灰度、回滚、谱系、ACL/删除传播和四类漂移定位。

位置当前行为治理缺口
Lab build_index直接覆盖 out/index.json无 staging / snapshot / atomic switch
Lab evalHit@1 / Hit@3 / MRR无引用、拒答、陈旧、ACL、删除泄漏
Pipeline fingerprint输入 + 部分配置,截 16 hex无完整代码/依赖/提示/ACL 版本
Pipeline staterun / step / item cache无发布事务、谱系、墓碑和并发隔离
Validators / gateschema、PII、隔离率、Hit@3无混版、冲突、投毒、相对基线和分片门禁

03 · Snapshot contract

Manifest 是可发布版本的身份证

INGESTED来源修订已登记
VALIDATEDManifest、revision/hash、lineage
STAGED候选目录完整构建
EVALUATED冻结/边界/对抗评测
CANARY候选灰度门禁
ACTIVECAS 原子指针
失败分支 → ROLLED_BACK评测或 canary 失败时,候选回退,活动指针保持旧版本。
活动版本分支 → RETIRED / ROLLED_BACK原 active 被新版本替换后进入 RETIRED;主动切回旧版本时记录 ROLLED_BACK。

8 / 8 表示全部场景对八种状态的集合覆盖,不代表每个快照依次经历一条八节点直线。

本地基准实际 Manifest 合同

snapshot_idparent_snapshot_idbuild_idinputs[].revisioninputs[].content_hashtransform_versionembedding_versionretriever_versionprompt_versionacl_versiontombstone_epochlineageeval_hash

生产建议再补充来源 URI/系统、数量与全量产物哈希、审批者、有效期和创建/灰度/发布时间。谱系应贯穿 SourceRevision → ParsedDocument → Chunk → CuratedQA → Embedding → IndexUnit → RetrievedEvidence → AnswerCitation。

04 · Publish and rollback

构建失败不可见,删除回滚不可逆

阶段动作失败时
Staging在 generations/<snapshot_id>/ 构建完整候选标 INCOMPLETE,active 不变
Manifest核对数量、哈希、转换、ACL、墓碑、谱系阻止进入评测
Evaluation冻结、边界、对抗与滚动集候选不得激活
Canary稳定哈希分流,独立缓存命名空间流量回到当前 active
CAS publishexpected parent 匹配才切 active pointer并发冲突,重算而非覆盖
Rollback切回上一完整快照最新 tombstone 继续叠加;全局 ACL overlay 待专项验证
cache_key = snapshot_id + retriever_config_version + tenant_id + acl_policy_revision + query_normalization_version

05 · Deterministic lab

18 个场景专门攻击“部分可见”和“旧知识复活”

Guarded

  • 不可变 snapshot 与完整 Manifest
  • expected parent 的 CAS active pointer
  • 候选隔离、评测与 canary gate
  • snapshot / tenant / ACL 缓存隔离
  • 全局 tombstone epoch 与回滚覆盖
  • 有效期、权威、不可信上下文、去重和 lineage gate
18 / 18控制场景通过
104固定断言

Naive positive control

  • 原地覆盖索引或提前切 active
  • 并发发布无 CAS
  • 跨快照、跨租户复用缓存
  • 删除只改当前版本
  • 绕过 ACL / 有效期 / 权威门禁,冲突时直接取最后一份文档
  • 接受混版、旧派生物,并把检索内容里的工具文本当指令
17 / 17阳性故障被识别
300Trace event
发布原子性 × 5有效发布、构建崩溃、评测失败、canary 回退、CAS 冲突。SNAPSHOT / CAS
缓存与租户 × 2旧 snapshot 缓存、跨租户同查询。NAMESPACE
删除与 ACL × 4删除传播、epoch 竞态、ACL 收紧、删除后回滚。GLOBAL OVERLAY
时间与冲突 × 3权威平局、未来生效、过期退出。REFUSE / EFFECTIVITY
安全与去重 × 2检索内容不执行工具指令;同租户相同内容哈希只生成一个索引条目。TRUST BOUNDARY
Manifest / lineage × 2chunker/embedding 混版、来源更新但 QA 仍旧。VERSION CONSISTENCY

06 · Results

状态和门禁已验证,真实检索与回答质量仍未知

确定性控制结果

Guarded 场景
18 / 18
Naive 故障检出
17 / 17
Harness 匹配
36 / 36
状态覆盖
8 / 8
测试通过
32 / 32

机器可读证据

300两种策略合计 trace event

Raw、matrix、summary 与 checksums 相互校验;每条记录另有规范化哈希。两个独立临时目录与仓库四个结果文件逐字节一致。

已证明仍未知禁止写成
固定 snapshot / Manifest / CAS 规则真实对象存储、数据库和并发事务发布可靠率 100%
删除、ACL、缓存和 lineage 控制真实权限系统与删除传播时延生产安全率
故障脚本能击穿 Naive真实向量召回和生成答案RAG 准确率或厂商排名
产物可复算和识别篡改外部签名、可信时间戳和供应链密码学来源证明
6730a8a8fe6c59a9f62d40e933af140ec85503df2621de012604407bcd98a7bb raw_results.jsonl 0d796ebd494221d9ff817b886407148afe10faae5f3062c95385228c66661338 matrix.json 110e8cbcf8c97cb3859153edc490682c5bb5bc32a0b74d4df76b4fffccd65e67 summary.json

所有时间、数据和策略均为固定本地夹具;这些哈希证明当前文件身份,不是外部签名或可信时间戳。

07 · Drift attribution

四类漂移分开,才能知道该回滚什么

DATA DRIFT

文档与查询分布变了

固定流水线配置,观察主题、语言、租户、来源、时效、重复和冲突。

PSI · JSD · MMD · source / locale / tenant slices
RETRIEVAL DRIFT

同一查询的证据变了

冻结查询、预期证据和生成器,对比新旧 Top-k。

Recall@k · MRR · nDCG · Jaccard · rank flips · ACL/deletion leakage
GENERATION DRIFT

同一上下文的回答变了

固定检索上下文,只切模型或提示词。

supported claims · citation precision/recall · refusal · rule consistency
BUSINESS SHIFT

用户和任务构成变了

固定系统版本,观察意图、租户、语言、渠道、季节与任务结果。

traffic mix · intent mix · completion mix · abstention mix
旧查询 + 旧检索 + 旧生成 旧查询 + 新检索 + 固定旧生成 固定上下文 + 旧生成 / 新生成 新生产查询 + 旧栈 / 新栈

08 · Layered evaluation

Golden Set 是六层发布系统,不是一张永远不变的题库

L0结构不变量Manifest、哈希、谱系、ACL、墓碑、版本一致性。
L1冻结回归长期核心查询与证据,监控非回退。
L2边界集无答案、冲突、未来、过期、删除和权限。
L3对抗集间接注入、重复权重、恶意来源和污染 QA。
L4滚动业务近期流量分层抽样,反映真实分布变化。
L5灰度在线候选与当前快照的受控 canary。
硬门:删除与越权检索率为 0;Manifest、谱系和版本一致性为 100%;冻结集关键分片不越过非回退容差;引用来自当前、有效、已授权来源;失败与拒答不从分母删除;LLM Judge 必须用人工标注子集校准。

09 · Production path

先停止原地覆盖,再谈自动更新频率

01 · SNAPSHOT不可变目录与完整 Manifest
02 · CAS POINTER原子发布、并发冲突与审计
03 · LINEAGErevision、hash、ACL、有效期贯穿派生物
04 · TOMBSTONE独立 epoch 覆盖缓存和回滚
05 · DRIFT LAB分层 Golden 与因子重放
06 · REAL CANARY真实存储、流量、标注、成本和恢复
真实阶段硬门:需要生产等价存储、向量/关键词检索、真实 ACL/租户、合法语料、人工 relevance/faithfulness 标注、线上 canary、并发和崩溃恢复。按本轮要求,所有云端密钥和真实数据环节都跳过。

复现本地控制实验

cd ./rag-governance-bench python3 -m rag_governance_bench run --output-dir results python3 -m rag_governance_bench validate-results \ --raw results/raw_results.jsonl --matrix results/matrix.json \ --summary results/summary.json --checksums results/checksums.sha256 python3 -m unittest discover -s tests -v

10 · Sources

标准、论文与本地证据

外部链接于 2026-08-31 只读核验;日期、适用范围和论文状态以各来源说明为准。

  1. W3C PROV-O — Entity、Activity、Agent、revision、generation 与 invalidation。
  2. OpenLineage Object Model — Job、Run、Dataset、版本、生命周期和质量 facets。
  3. NIST AI 600-1 — 来源、持续监控、第三方组件、数据投毒与间接提示注入。
  4. NIST SP 800-162 — ABAC 的主体、对象、操作、环境与策略。
  5. GDPR Article 17 — 符合条件时的数据删除;适用范围需法律判断。
  6. Apache Iceberg Specification — 快照、Manifest、原子指针和乐观并发;这里只借鉴模式。
  7. Kubernetes Deployment — 修订、回滚与 canary 工程模式。
  8. KILT — 冻结知识快照并同时评价任务与 provenance。
  9. BEIR — 跨域检索差异与分层评测。
  10. RAGAS — 检索、忠实度与生成质量分离。
  11. RAGChecker — 模块化诊断;当前来源仍为预印本/审稿状态。
  12. PoisonedRAG — 知识库投毒攻击面;论文结果不可外推。
  13. LlamaIndex Documents — metadata、稳定 doc ID 与刷新用法。
  14. 本地Knowledge Mining Lab — 六步零依赖教学链和历史小型合成夹具。
  15. 本地Knowledge Mining Pipeline — 指纹、断点、隔离、PII、重试和发布线。
  16. 本轮RAG Governance Bench — 18 场景、36 运行、104 断言、300 事件及可复算产物。