大模型场景知识体系建设

三代知识体系的演进

• 第一代（关键词检索时代）：知识 = FAQ 条目 + 文档目录树。靠人工维护上千条 FAQ，检索靠关键词命中，准确率天花板约 60%（腾讯 ADP 酒店集团案例实施前数据）。
• 第二代（NLU/知识图谱时代）：以阿里小蜜、百度知识中台为代表——意图分类 + 实体抽取 + 图谱推理。知识结构化程度高但生产成本极高，Schema 设计和标注是瓶颈。
• 第三代（大模型 RAG/Agent 时代）：知识以"可被检索的语义片段 + 可被推理的结构化知识"双形态存在，大模型承担理解、归纳与生成，知识库退居为"外挂事实源"。生产成本下降一个数量级（酒店案例：FAQ 维护量从 1000+ 条缩减到 100+ 条核心规则），但对知识质量、评测与运营的要求反而上升。

关键认知：第三代体系的核心竞争力不在模型，而在"知识供应链"四环节——挖掘（§④）→ 加工（§⑤）→ 评测（§⑥）→ 飞轮（§⑦）。模型可以换，供应链是自己的资产。

横向共识（≥3 家厂商独立验证）

• 解析与分块 > 检索算法 > 模型选型的效果贡献排序（腾讯 ADP、AWS 中国博客、kapa.ai 三方一致）。
• 混合检索（向量 + BM25 + 元数据过滤）是生产标配，典型权重 0.6/0.3/0.1，产品型号、编号类查询关键词占优。
• 知识权限是企业级门槛：平台级/应用级/知识库级三层权限 + 组织架构/岗位/黑白名单（腾讯 ADP、乐享、百度知识中台均强调）。
• 知识治理先行：文档清洗（去过时/重复/低质）→ 结构标准化 → 标签体系 → 版本管理 → 质量验收，五步是所有平台落地文档的公共前置章节。

案例里的三条可迁移经验

• 选"规则密集 + 高频问询"场景切入：资本新规、HR 制度、绩效政策——规则有标准答案、问询量大、错了能被发现，最适合建立第一条评测基线。
• 大小模型协同是性价比路线（江西移动范式）：小模型做检索/分类等确定性任务（便宜、可控、低延迟），大模型只做最后归纳生成。
• 严谨决策场景引入图谱：纯向量 RAG 在多跳推理、数值比较、时序逻辑上先天不足；蚂蚁 KAG/微软 GraphRAG 的共同动机就是补这块——但图谱构建成本高，仅对准确率红线 90%+ 的场景启用。

四条挖掘管道（按启动成本排序）

• 管道一 · 存量文档结构化：制度/手册/工单/API 文档 → 解析 → 分块 → 入库。kapa.ai 铁律：先核心信源（技术文档、发布说明、已验证解法、KB 文章），二级信源（Slack/论坛/工单）必须加过滤器——只收最近一年 + 已验证成员的回复，禁止把十年全量数据一次性倒进去。
• 管道二 · 会话日志挖掘：从客服/座席历史对话中自动挖 QA 对——大模型对历史对话做"问题聚类 → 答案抽取 → QA 生成 → 人工抽检入库"，售后知识库随对话持续丰富（智能客服厂商普遍产品化此能力）。这是知识库覆盖率最强的补充源：真实用户问法比文档作者想象的问法更接近生产分布。
• 管道三 · QA 对自动生成：对已入库文档用 LLM 批量生成问答对，用于冷启动评测集与 FAQ 扩充。阿里云 AnalyticDB 实践指出纯 LLM 生成 QA 质量不稳，改用 GraphRAG 辅助：先抽实体关系图谱，沿图谱边生成问题，答案锚定原文，显著减少"编造问题配编造答案"。CCKS 2024 工业实践同样用"图谱 + 百科 infobox"生成文档微调问答对，缓解领域数据荒。
• 管道四 · 图谱化抽取：LLM 从非结构化文本抽取实体/关系/事件构建知识图谱（微软 GraphRAG：社区检测 + 分层摘要支持全局性问题；蚂蚁 KAG：互索引结构 + 逻辑符号推理）。成本最高，仅为多跳推理/全局分析场景启用。

离线链路（数据准备）五步与关键指标

文档采集（格式覆盖率）→ 文档解析（解析准确率）→ 文本分块（分块质量）→ 向量化（语义保真度）→ 索引存储（检索延迟）。解析是地基：PDF 多栏错乱、表格结构丢失、扫描件 OCR 是三大重灾区——表格密集文档（财报/参数表）解析失败，后面全链路无解。

可直接抄的推荐参数（多数企业场景起步值）

• 分块大小 300-500 Token，重叠 50-100 Token；分隔符优先级：标题 > 段落 > 句子。
• 元数据必留：文档标题 + 章节标题 + 页码 + 更新时间 + 业务域标签（检索后定位与过滤全靠它）。
• 混合检索权重起步值：向量 0.6 / BM25 0.3 / 元数据过滤 0.1，之后用评测集调。
• 不要追求"最优分块大小"：准备一批代表性查询（Top 50 高频问题），不同参数跑评测集择优——这是所有厂商文档的共同建议。
• 查询侧三板斧：意图澄清改写（"保险怎么弄"→"如何申请车辆保险理赔"）、复杂问题分解、HyDE 假设文档检索；进阶做 Agentic RAG（按问题类型动态决定检索策略，已有上下文可答则跳过检索）。
• 刷新管线按"增量 delta"设计（kapa.ai 范式）：变更检测 → 内容校验（防版式突变）→ 增量重建索引 → 版本记录 → 质量监控，严禁全量重刷。

Golden Set 构建方法（可直接执行）

• 数据来源三路：生产日志分层采样（重点采"点踩/追问/转人工/差点失败"，而非只采高频）、人工构造（正常路径 + 边缘样本 + 对抗样本三类必备）、失败案例回填（每次处理投诉时问一句：这条能不能进评测集）。
• 规模：早期 20-50 条真实任务即可启动；发布门禁阶段扩到 50-200 条覆盖主要路径与高风险场景；再逐步 500+。分布比总量重要：200 条同类问题不如 100 条覆盖 10 类场景。
• 分层配比参考：正常路径 50% / 边缘场景 25% / 对抗样本 15% / 高权重失败 10%——高权重失败（合规漏判、错误用药建议类）单独看，一条不过即停发布。
• 维护三件事：季度覆盖度复查、线上新失败模式确认后回流、Golden Set 与模型/Prompt 版本一起存档（否则跨版本对比失真）。

检索层与生成层必须分开评（两张账）

• 检索层：Recall@k（合规/法律/医疗等不能漏的场景）、Hit Rate@k（快速验证）、MRR（模型重度依赖 Top-1 时）、Precision@k（Token 预算紧张时）。文档级标注太贵时用 RAGAS 的 Context Precision / Context Recall（LLM 判断 + 人工抽检校准）起步。
• 生成层：Faithfulness（回答的每个事实断言能否被上下文支持——把回答拆成独立 Claim 逐条核验）、答案相关性（有没有接住用户真正问的事）、上下文利用（材料进了 Prompt 有没有被用上，防 Lost-in-the-Middle）、噪声敏感度（Top-k 混入无关块时回答是否被带偏）。
• 陷阱：只评最终答案不分段 → 检索差和生成差表现都是"答不准"，但优化方向完全相反。

三种评分器的分工与 LLM-as-Judge 要点

• 规则评测拦硬错误（JSON 格式/枚举/引用存在性），LLM-as-Judge 评开放语义（忠实度/相关性/完整性），人工只留高风险样本与 Judge 校准。
• Judge 四大偏差与对策：位置偏差（A/B 交换顺序评两次取一致）、冗长偏差（验证集放"长废话 vs 短而全"对照样本）、自我强化偏差（重要节点跨厂商模型交叉验证）、推理局限（数学/代码/SQL 给参考答案或执行结果做 Reference-guided 评分）。
• Judge Prompt 必须给分维度锚定评分标准（每维 1-5 分并写清 5/3/1 分的判据），输出结构化 JSON（分值 + 一句话依据 + 类别 + 置信度）；允许输出 needs_human_review，别逼它硬判。
• 评测线上化：阿里云百炼已把"自动生成评测集 + BadCase 分析（大模型打分 / 问题分类）"做成平台功能；自建可用 RAGAS/TruLens/Langfuse，但先跑通自己的 Golden Set 再接工具——"工具面板再漂亮，也只是把不稳定的评测流程展示出来"。

飞轮的正确定义（四个前提结论）

• 用户反馈只是原始信号，不等于训练标签；
• 高价值难例 > 大量普通样本；
• 训练集与评测集必须隔离（按用户/会话/文档/时间分组切分），否则指标被污染；
• 飞轮优化的是整个系统（知识库/Prompt/检索/模型/工具），不只是模型参数——知识场景下大多数 badcase 的修法是改知识不是改模型。

闭环五步（工程视角）

1. 采集完整 Trace：不只存问答对，还要存模型/Prompt/知识库/检索器/Reranker 版本、召回文档 ID、Rerank 分数、工具调用、用户反馈与任务结果——否则无法归因，"检索故障被当成模型问题"。
2. 治理分层：脱敏（姓名/手机号/密钥）→ 过滤（Prompt 注入/无效会话）→ 去重（Hash/MinHash/向量聚类）→ 数据血缘 → Raw/Curated/Gold 三区分层，每次转换可追溯。
3. 难例挖掘：优先级 = 失败信号 + 不确定性 + 业务影响 + 新颖度 − 重复度 − 标签噪声（各信号先归一化再加权）；高不确定 ≠ 高价值，必须过归因与可标注性检查。
4. 归因分流：知识缺失 → 走挖掘管道补知识；知识过期/冲突 → 走治理修订；检索没召回 → 调分块/混检权重/Reranker；模型没用上上下文 → 调 Prompt/上下文排序；确属模型能力 → 攒够样本走 SFT/DPO（数据混合保留 replay + safety 样本防遗忘）。
5. 验证发布：固定 Golden Set 回归 + 滚动评测集覆盖最新问题 + Shadow/灰度放量；"周期性离线训练 + 持续线上评测"，不做单条反馈在线更新——保证可审计、可复现、可回滚。

厂商产品化样本

• NVIDIA NeMo 数据飞轮：Curator（数据整备）→ Customizer（微调/蒸馏）→ Evaluator（自动评测）→ Guardrails 四微服务组成循环；典型用法是用生产流量持续蒸馏小模型，评测达标即替换大模型接管该路由，同时降本与保精度；Data Flywheel Blueprint 提供参考实现。
• 百度千帆"猜你想问"：用户反馈筛选模型表现差的数据专项优化 + 模型蒸馏结合，官方明确"反馈循环利用是数据飞轮的核心，需要设计合理的标注与处理流程"。
• 阿里小蜜（历史沿革）：早在 NLU 时代就建立"人工智能训练师"岗位闭环——标注未解决问题 → 训练 → 新模型上线，是国内知识运营岗位化的先行者；该范式在大模型时代演化为 badcase 运营平台。

组织配置（比技术选型更常被低估）

• 知识运营（0.5-1 人/场景）：badcase 归因、知识修订、评测集维护——百度知识中台与阿里训练师体系均设专岗；
• 业务 SME（兼职）：高风险样本终审、评分标准校准；
• 工程（1-2 人）：解析/检索/刷新管线与 Trace 基建。三角色缺任何一个，飞轮都转不起来。

厂商官方文档与博客

• 阿里云百炼 · 知识库（RAG）官方文档阿里云
• 阿里云百炼 · RAG 效果优化（chunk 策略）阿里云
• 阿里云百炼 · 自动评测与 BadCase 分析阿里云
• 阿里云 AnalyticDB · 基于 GraphRAG 生成高质量 QA 对阿里云
• 腾讯云 ADP · 企业级 RAG 深度指南（酒店/车企/医药案例数据）2026-03
• 腾讯云智能体开发平台（原大模型知识引擎 LKE）产品页腾讯云
• 腾讯乐享 AI 知识库：企业级知识底座（102 格式/表格 85%/图文 F1 84%）腾讯云社区
• 火山引擎 Viking 知识库产品页火山引擎
• 火山引擎 · 企业知识引擎概述（接入-处理-建模-挖掘-应用）火山引擎
• OpenViking：字节开源上下文数据库GitHub
• 百度 · 知识中台驱动产业智能化（Schema 自动抽取/知识运营方法论）百度智能云
• 百度千帆 · 数据飞轮「猜你想问」官方文档百度
• 华为云 · 知识计算解决方案（获取/建模/管理/应用四模块）华为
• NVIDIA · 使用 NeMo 微服务通过数据飞轮增强 AI 智能体NVIDIA
• NVIDIA · 数据飞轮实现 AI 智能体性能最大化（Blueprint）NVIDIA
• AWS 中国 · 基于 LLM 的知识问答落地实践：知识库构建AWS
• AWS 中国 · 使用 TruLens 做自动化 RAG 评估AWS
• IBM · RAG 结果评估：指标与最佳实践IBM

案例、社区与研究

• kapa.ai · RAG Best Practices: Lessons from 100+ Technical Teams2024-11
• 沙丘智库 · 7 家头部企业"大模型+知识管理"落地实践（招行/长安/江西移动等）2024
• Matt's Blog · LLM 系列：数据飞轮，大模型能力如何持续进化2026-07
• JavaGuide · AI 应用评测体系：从 Golden Set 构建到线上灰度闭环2026
• 蚂蚁 KAG 发布：支小宝政务问答准确率提至 91%2024-09
• 蚂蚁 KAG 框架核心功能研读（图谱+向量双向增强）2024-11
• 新华网 · 蚂蚁数科 Agentar KBase 入选 2025 国际标准金融应用卓越案例2025-10
• Zilliz · 如何评估 RAG 应用质量：方法论与工具（Ragas/TruLens）Zilliz
• 中兴通讯 · 大模型知识管理系统（4 类知识构建 + 全流程检索 + 测评框架）2024-02
• CCKS 2024 · 知识图谱增强大模型在文档场景中的实践范式2024-09
• 知乎 · 千万级文档 RAG 知识库系统落地实践知乎
• 知乎 · MaxKB/Dify/FastGPT/RagFlow 全面对比知乎
• 人人都是产品经理 · Agent 大潮里，知识库落地走到哪了？2025