核查

DeepSeek-V4-Flash 水分核查

← 调研中心

DeepSeek-V4-Flash 水分核查：官方宣称 vs 独立实测 vs 社区真实口碑

不看厂商自吹，只看三类证据：① 独立榜单（Artificial Analysis / BenchLM / DeepSWE / LMArena / Vals AI）、 ② 业内工程师与分析师的判断（独立评测博客、NIST CAISI、Cursor 论坛）、③ 社区真实用户反馈（Reddit 各版块、知乎、本地部署实测）。 逐条给官方宣称打水分评级，并给出与 Kimi / GLM / Claude / GPT 的横向对比图。姊妹篇：V4-Flash 深度调研（基础篇）。

生成日期 2026-07-31 · 三轮迭代调研 · 独立/社区信源为主 · 来源 24 处（文末列出）
目录 水分总评 逐条核查表 独立榜单横评 对比图 榜单罗生门 业内怎么看 社区真实口碑 集成的坑 最终判断 来源

◆水分总评：哪些是真的，哪些注水了

基本可信 · 性价比
"便宜且能打"这条几乎没水分：AA 独立测算全套测评仅 $113（Kimi K2.6 $948、GLM-5.1 $544）， 社区"这价格不合法"是真实共识。业内工程师横评也承认：批量/夜间任务上闭源模型没有进场理由。
打五折看 · 编码基准
SWE-bench Verified 79.0 方法论有争议：验证器偏松 + DeepSeek 自家 harness 自测。 更严格的独立榜 DeepSWE 上，V4 系列从未进入 7 月官方快照 Top 18（GLM-5.2 43.8 都在列）； 社区实际体验却又普遍不错——真实水平在两者之间。
水分最大 · "1M 上下文"
1M 是能力上限不是日常收益：官方自家数据 128K 后检索就开始衰减； 本地部署 A/B 实测（DeepSWE 任务）1M 与 262K 配置结果完全相同（任务峰值只用到 ~147K）； Cursor 里还被截到 200K。营销价值 > 实用价值。
硬伤实锤 · 幻觉率
AA-Omniscience 独立口径 幻觉率 96%（V3.2 才 82%，GLM-5.2 仅 28.1%）—— 不知道就编，比上一代更严重。官方发布材料对此只字未提，这是最典型的"报喜不报忧"。
口径魔术 · 0731 反超 Pro
"正式版 Agent 基准远超 V4-Pro-Preview"用的是自家 harness + Max 档 + 新版基准号（Terminal Bench 2.1 vs 2.0）， 与 Preview 期数据不同口径不可直接相减；发布当日无任何独立复现。方向可信，幅度存疑。
权威定量 · CAISI 代差
美国 NIST CAISI 预注册盲测：按 DeepSeek 自报基准 V4 只落后美国前沿 ~2 个月，按未污染基准实测落后 ~8 个月—— 这 6 个月的差就是"自选基准水分"的官方定量值（见图 5）。
被低估项 · 社区实战
反过来的水分也存在：DeepSWE 榜把 V4-Pro 跑出 8% 的离谱低分后被社区审计出成本虚高 ~5×、 effort 未调优、路由 404 无熔断等问题——独立榜单黑起来也有水分。opencode 社区"98% 任务够用"是大量真实使用背书。
一句话总评：Flash 的「性价比故事」是真的（连 NIST 都认），「能力故事」打七折（编码可信、知识裸问不可信、自选基准比盲测基准虚高约 6 个月代差）， 「1M 上下文」按 128K-200K 预期用，「Agent 反超 Pro」等独立复现落地前当广告看。

◆官方宣称逐条核查

官方宣称独立/社区证据水分评级
"快速、高效、经济的选择"
发布公告
 AA 全套测评成本 $113 独立验证成立；但官方 API 单流速度仅 99.2 t/s、思考模式首 token 13.7s——"经济"真，"快速"指吞吐性价比而非响应速度 水分小
"推理能力接近 V4-Pro"
发布公告
 AA 发布期口径 47 vs 52，GPQA 88.1 vs 90.1——独立与官方一致，差距确实小；但知识（SimpleQA 34.1 vs 57.9）被"推理"话术带过 推理真 / 知识藏拙
"简单 Agent 任务与 Pro 持平"
发布公告
 技术报告自家数据就承认高难 agent 差 10-11 分（Terminal Bench 56.9 vs 67.9、BrowseComp 73.2 vs 83.4）；"简单任务持平"是精心选择的表述 话术性水分
"SWE-bench Verified 79.0"
技术报告
 官方自家 harness 自测；Morph 指出该榜验证器偏松；独立严格榜 DeepSWE 7 月快照 Top 18 无 V4 系列任何配置；但 AkitaOnRails / Vals AI 等真实任务评测确认"比 V3.2 有代际提升"为真 分数偏乐观
"1M 上下文默认标配"
发布公告
 官方 MRCR 曲线自己显示 128K 后衰减；flowtivity 双 DGX Spark 实测 1M vs 262K 配置任务结果完全相同（峰值仅用 147K）；Cursor 实际接入被限 200K；真实收益集中在 100K-800K 段的长文档场景（Chew 实测 800K 检索 Flash 仅 1/3 对） 营销大于实用
"0731 正式版 Agent 基准远超 V4-Pro-Preview"
更新日志 2026-07-31
 自家 harness（"极简模式"未发布）+ Max 档 + temperature 1.0 + 部分基准换新版本号（TB 2.1）；发布当日零独立复现；DeepSWE 自报 54.4 若属实相当于 Claude Sonnet 5 (max) 档——数字漂亮到需要等复现 待验证
"性能媲美世界顶级闭源模型"（V4 系列整体叙事）
发布公告
 NIST CAISI 预注册盲测：自报基准口径下确实≈ Opus 4.6/GPT-5.4（落后 2 个月），未污染基准下≈ GPT-5（落后 8 个月）；ARC-AGI-2 半私有集 46 vs 79、CTF 32 vs 71 差距显著 自选基准虚高 6 个月
发布材料未提及的部分
——
 幻觉率 96%（AA 独立测量，比 V3.2 恶化 14pp）、token 消耗全场最高之一（2.4 亿）、创意写作风格倒退（社区公认）、思考模式协议集成坑——全部缺席官方叙事 报喜不报忧

◆独立榜单横评：不同裁判眼中的 Flash

独立评测方Flash 的位置怎么读
Artificial Analysis
智能指数（发布期口径）
 47 分：V3.2（42）< Flash（47） < Pro（52）≈ 对标 Claude Sonnet 4.6 全力版 综合智能进入"次顶级"档，与官方叙事一致；注意 AA 指数题库有版本演进，7 月口径下 GLM-5.2（51）已反超 Flash
BenchLM 聚合分
2026-07 快照
 58.02/100，全库 216 个模型中排第 73，仅略高于全场中位数 57.3 把所有公开基准加权后，Flash 是"中上游"而非"第一梯队"——和官方宣传的体感差距最大的一张榜
DeepSWE（Datacurve 独立严格榜）
2026-07-25 快照
 V4 系列任何配置均未进入公开 Top 18（榜尾是 Gemini-3.1-Pro 11.8%；开源 GLM-5.2 43.8% 在列） 要么成绩不佳要么未被有效收录（见"榜单罗生门"）；官方 0731 自报 54.4 尚无第三方复现
LMArena 文本竞技场
人类盲评偏好
 开源第 10 / 综合第 14（Pro 为开源第 2） 主观体验口径下 Flash 明显掉队，与"写作风格差评"的社区反馈互相印证
Vals AI Vibe Code
真实氛围编码
 V4 系列较 V3.2 约 10 倍跃升、开源榜首（主要由 Pro 撑起） 与 AkitaOnRails "从幻觉 API 到一次跑通"的个体观察一致：编码代际提升是各家独立评测里最没有争议的一条
AA-Omniscience 幻觉
知识+拒答校准
 Flash 得分 -23（与 V3.2 持平）、幻觉率 96% 与 GLM-5.2（幻觉率 28.1%）成鲜明对比：DeepSeek 系整体是"敢答不敢拒"的路线

◆对比图：官方口径 vs 独立口径 vs 竞品

图 1 · 同一个模型，两套叙事：官方自报 vs 独立/严格口径（编码 agent 能力）

官方口径：SWE Verified 79.0（自家 harness）、Terminal Bench 2.1 82.7（0731 自报）、DeepSWE 54.4（0731 自报）。 独立口径：Preview 版 Terminal Bench 2.0 实测 56.9、DeepSWE 7 月独立快照未收录 V4 任何配置（记 0 并非实际分，表示"缺席"）、BenchLM 聚合 58/100。口径各异，本图只为呈现"叙事差"，勿直接相减。

图 2 · AA-Omniscience 幻觉率横向（越低越好）

来源：Artificial Analysis 独立测量（媒体转述口径）。幻觉率=未知问题下强行作答的比例。GLM-5.2 为 7 月 AA 文章口径（28.1%），与 4 月测量的 V4 系不完全同期，趋势参考。

图 3 · 跑完全套 AA 智能指数测评的真实成本（美元，对数感知：差距近 10 倍）

来源：Artificial Analysis（2026-04 测评期）。这是"单价 × 实际 token 消耗"后的真实账单——Flash 的性价比故事在独立口径下依然成立，是全部宣称里最经得起核查的一条。

图 4 · AA 智能指数：发布期横向定位（2026-04 口径）

同期口径：V3.2 42 / Flash 47 / Pro 52，Pro 当时为开源第二（次于 Kimi K2.6）。虚线为 7 月口径下 GLM-5.2 的 51 分（AA 题库有版本演进，跨期比较仅供趋势参考）。

图 5 · CAISI（美国 NIST）口径：公开基准接近前沿，预注册盲测基准掉队（V4-Pro Max vs 美国前沿）

来源：NIST CAISI（2026-05，预提交基准套件、统一 harness 与 token 预算）。左三项是 DeepSeek 报告里常见的公开基准，差距小；右三项是未污染/非公开基准（PortBench、ARC-AGI-2 半私有集、CTF），差距拉大——这就是"自选基准水分"的定量形状。测的是 Pro，Flash 只会更低，趋势同样适用。

◆榜单罗生门：黑它的榜单自己也被审计了

DeepSWE 审计事件（2026-06，GitHub issue #21）——水分是双向的

DeepSWE 榜把 V4-Pro 跑出 8% 解决率、$4.22/任务的离谱成绩后，社区用户实测审计发现榜单方法论多处硬伤：

  • 成本虚高约 5×：榜单按全额缓存未命中价计费，而真实 agent 运行 78% 的 token 是缓存命中（DeepSeek 缓存价格折扣 99.2%）——$4.36 的试验按正确价格算只要 ~$0.89。
  • effort 配置不公平：其他模型全部用调优档位（GPT xhigh / Claude max…），唯独 deepseek-v4-pro 跑 reasoning_effort: null 裸默认档。
  • 路由黑洞：OpenRouter 隐私守卫默认屏蔽 DeepSeek 端点，榜单跑分时遭遇 404 循环无熔断，甚至被静默路由到第三方供应商。
  • 但审计者自己也翻车：其"我们 3/3 解决了榜单失败任务"的宣称后被撤回——因为他们把验收测试提前喂给了模型。双方都有水分，这正是当前大模型评测生态的缩影。

◇ 为什么官方分数普遍偏高

  • 自家 harness + 自选档位（Max）+ 自选采样参数
  • 验证器偏松的榜（SWE Verified）与严格榜（DeepSWE）能差 25 分
  • 基准版本号悄悄升级（TB 2.0 → 2.1），跨期不可比但容易被当作可比

◇ 为什么独立榜也可能偏低

  • 路由/隐私配置错误导致跑分对象根本不是官方 API
  • 不给国产模型做 effort 调优（对手全是最佳档）
  • 思考协议不兼容：harness 处理不了 reasoning_content 就直接判负
  • 本地量化部署（FP8/INT4）实测≠官方 API 水平（flowtivity 双 DGX 跑 DeepSWE 5 题 0 通过）

◇ 靠谱的读数姿势

  • 只信"同一 harness 同一时间跑所有模型"的横评
  • 官方分数看相对提升（vs 自家上一代）不看绝对值
  • 关键决策前用自家任务集小样本重测（20 题级别即可分层）

◆业内怎么看：工程师、机构与分析师

独立工程师横评（alexlavaee，2026-04）：没有全能王，按工作负载分家

  • 真实软件工程（多文件 PR/重构）：Claude Opus 4.7 领先（SWE Verified 87.6 vs V4-Pro 80.6），V4 不是第一。
  • 终端/agentic shell：GPT-5.5 以 82.7 领先 V4-Pro 约 15 分——短上下文高频工具调用场景，V4 的压缩注意力优势消失。
  • 超长上下文全仓推理：V4 系是唯一经济可用的选项（1M 成本仅 V3.2 的 27% 算力/10% 内存），这才是它的主场。
  • 规模化按次成本：Flash $0.28/M 输出比闭源前沿便宜 90-107 倍，"批量负载没有闭源模型的进场理由"。
  • 点名表扬 DeepSeek 官方口径反而克制："自家发布说明只说接近 Opus 4.6、明确不称平 Opus 4.7——厂商自己的措辞比多数自媒体标题更诚实。"

20 个真实任务实测（Chew Loong Nian）：Flash 赢了 7 个

不用榜单题、拿 20 个真实工作任务测 V4 全部四档：Flash 直接赢下 7 个（多为短任务，价格质量比碾压）； Pro-Max 只在真正需要它的场景拉开差距——800K token 真实仓库调用图检索 Pro 3/3 vs Flash 1/3。 结论与本报告一致：Flash 是短平快主力，超长上下文硬活是 Pro 的钱包理由。

NIST CAISI（美国官方，2026-05）：最硬核的"水分定量测量"

  • 总体结论：V4 是迄今最强中国模型，但综合能力落后美国前沿约 8 个月（按 DeepSeek 自报数据只落后约 2 个月）。
  • 自选基准效应实锤：在 DeepSeek 报告选用的公开基准上（GPQA 90%、数学竞赛 96-97%）确实接近前沿；但在 CAISI 预注册的未污染基准上差距拉大：ARC-AGI-2 半私有集 46% vs GPT-5.5 的 79%、自建 PortBench 44% vs 78%、CTF 网安 32% vs 71%。
  • 方法论可信：统一 harness（Inspect ReAct）、统一 token 预算、开发商推荐参数，并先复现了 DeepSeek 自报的 GPQA 分排除配置错误；基准套件预提交，不存在"挑结果发榜"。
  • 但成本结论也被它证实：同能力档的美国参照系 GPT-5.4 mini，7 项基准里 5 项 V4 更便宜——"便宜"这条连敌方阵营都认。

机构与分析师

  • Artificial Analysis：V4-Pro 拿下 GDPval-AA 开源第一（真实工作任务 Elo 1554）；Flash 1395 属第二梯队。
  • 晨星 Ivan Su："V4 无法复刻 R1 时刻，市场已消化中国 AI 便宜好用的预期"——热度口径也要挤水分。
  • Morph：SWE Verified 高分"是真的，但坐在验证器偏松的 harness 顶上"。

◆社区真实口碑：分场景两极分化

社区/场景口碑原话/事实
r/opencode · 编码 agent极好 "98% 的问题 Flash 直接解决，卡住才切 Pro"；"用一个多月，bug 修复和 UI 微调不想换"；"这价格感觉不合法"；个案中生物模拟复现超过 Pro 与 GLM-5.2
r/LocalLLaMA · 技术向认可为主 "同重量级里官方 API 便宜得离谱"；对 DeepSWE 低分普遍表示"与实际体验不符，我用着接近 Sonnet 4.6"；遗憾集中在 284B 塞不进单卡、盼 REAP 剪枝版
知乎 · Coding Agent 使用者吐槽可见 "放 OpenClaw / Claude / Trae 里体验很差，让它删个代码思考半天，工具调用磨叽"——思考模式 token 膨胀在 IDE 实时场景被放大
r/SillyTavernAI · 创意写作差评集中 "文笔很好但令人抓狂"：长对话人设漂移、抢戏推剧情；不少人回退 V3.2 或换 Kimi 写文
Cursor 论坛 · IDE 集成问题开放中 上下文被限 200K、工具调用后 reasoning_content 报错、思考协议兼容 feature request 长期开放——"营销先于工具链就绪"是 DeepSeek 系列发布的惯例
本地部署圈落差大 flowtivity 双 DGX Spark FP8 部署跑 DeepSWE 5 题 0 通过（1M 与 262K 配置结果相同）；发布时无社区 GGUF、llama.cpp/MLX 支持滞后数天——本地量化体验 ≠ 官方 API 水平
"Is this accurate? I use DS v4 in OpenCode and find it nearly on par with Sonnet 4.6, so I'm surprised the score is so low." —— r/LocalLLaMA 用户对 DeepSWE 低分的典型反应：社区体感与严格榜单的撕裂是 V4 舆论场的主旋律

◆集成的坑：宣传里不会告诉你的部分

落地前要预算的隐性成本

  • 思考协议非标：thinking-mode 握手 + reasoning_content 回传让 OpenCode/Cursor 等主流 harness 发布当周全线翻车，社区花数周逆向适配——"为集成留预算，而不只是推理费"。
  • 第三方托管缩水：Cursor 限 200K 上下文；OpenRouter 隐私守卫默认屏蔽 DeepSeek 端点（404）；托管商上下文/输出长度普遍裁剪，接入前逐项核对。
  • token 膨胀双杀：思考模式输出全场最高之一（AA 2.4 亿），既拉高延迟又蚕食单价优势；IDE 实时场景"删个代码思考半天"的知乎吐槽即源于此。
  • 峰谷定价 ×2（即将生效）：白天高峰所有计费项翻倍，成本模型要按时段建。
  • 本地部署 ≠ API：FP8/INT4 量化 + 自建 harness 的实测水平显著低于官方 API 口径，评估时别混用两种证据。

◆最终判断

水分结构：不是假，是"选择性真实"

  • 可以直接信：性价比（独立成本测算成立）、编码代际提升（多家独立评测一致）、架构效率（vLLM/学界背书）。
  • 打七折信：编码基准绝对分（自家 harness+偏松验证器，真实位置约在"开源第一梯队中游"，BenchLM 聚合仅 58/100 第 73 名）；"接近 Pro"（推理真、知识假）。
  • 先别信：1M 上下文的日常价值（按 128K-200K 预期）、0731 正式版反超 Pro 的幅度（零独立复现）、一切"自报 + 新版基准号"的数字。
  • 官方绝口不提的：幻觉率 96%（生产必须挂 RAG）、写作风格倒退、集成适配成本、token 膨胀。
行动建议：把 Flash 当"便宜大碗的编码/批量主力"用而不是"全能旗舰"用； 任何选型决策用自家 20 题级别任务集重测（官方榜、独立榜双方都被证明有方法论水分）； 知识型输出必须外挂检索；等 0731 正式版的独立复现出来再更新对它 agent 能力的判断。

◆信息来源

← 返回调研中心 📄 姊妹篇：V4-Flash 深度调研（基础篇） ↑ 回到水分总评
DeepSeek-V4-Flash 水分核查 · 生成于 2026-07-31 · 三轮迭代 · 仅供内部学习参考