本报告把散落在 OpenAI / Anthropic / Google 官方指南、《The Prompt Report》等学术综述与 Reddit 社区实战里的 prompt 调优知识,整理成一条小白 → 大师的五级进阶路线:L1 把话说清楚 → L2 示例与结构化 → L3 推理技术家族 → L4 评估驱动与自动优化 → L5 上下文工程与生产化。每级都给出"能做什么、常见坑、验收标准"。
推论:调优的正确顺序是——先固定采样参数 → 再调 prompt 结构与内容 → 最后才考虑换模型或微调。逆着来就是新手最常见的浪费。
多个独立信源(OpenAI 指南、Reddit 六个月实测帖、知乎实战总结)交叉印证同一结论:L1-L2 的基本功贡献了绝大部分收益。模型能力越强,花哨技巧的边际收益越小——2022 年在 GPT-3 上惊艳的技巧,很多已被新模型"内化"。所以本报告的建议是:L1-L2 练到肌肉记忆,L3 按需取用,L4-L5 才是真正拉开职业差距的部分。
| 要素 | 作用 | 写法示例 |
|---|---|---|
| 任务动词 + 对象 | 消除"要我干什么"的歧义 | "把下面的会议记录压缩成 5 条行动项",而不是"看看这个记录" |
| 角色(Role) | 激活对应领域的语言风格与知识侧重 | "你是一名资深跨境电商客服质检员" |
| 受众与场景 | 决定深浅与措辞(26 原则中实测有效的一条) | "解释给完全没有技术背景的运营同学听" |
| 输出格式 | 让结果可直接使用/可解析 | "输出 Markdown 表格,列为:问题 / 严重度 / 建议" |
| 约束与边界 | 限制长度、语言、禁区 | "不超过 200 字;不确定的信息标注'待核实'而不是编造" |
| 上下文材料 | 提供事实依据,降低幻觉 | "仅根据以下产品文档回答:<doc>…</doc>" |
| 成功示范/评判标准 | 定义"好"长什么样 | "好的行动项示例:'@张三 周五前提交退款流程 v2'" |
差别不是"写得多",而是把验收标准前置——你在替模型消除所有需要"猜你心思"的自由度。Anthropic 给了一条"黄金法则":把 prompt 拿给同事看,如果同事看完不能准确执行,模型也不能。
arXiv 2312.16171(被引 185+)在 LLaMA-1/2 与 GPT-3.5/4 上系统测了 26 条原则,作者报告在 GPT-4 上平均带来 50% 以上的回答质量提升(提升幅度随模型与任务波动,社区复现结果不一,宜作方向参考而非精确数字):
在 prompt 里放 2-5 个"输入 → 期望输出"示例(示范格式、口径、粒度),是《The Prompt Report》统计中使用最广、也最被官方推荐的技术。Google 白皮书建议:分类任务的示例要覆盖各类别且打乱顺序;示例要多样、含边界情况(edge case)。
用 ### 分节、"""引用、<xml> 标签把"指令 / 材料 / 示例 / 输入"明确隔开,防止模型把材料当指令(这也是注入防御第一层)。Anthropic 官方最推荐 XML 标签(Claude 训练时大量见过),OpenAI/Gemini 对 Markdown 分节同样友好:
输出侧的结构化:明确说明 JSON schema 并给一个填好的示例;生产 API 场景直接用 Structured Outputs(OpenAI 提供 schema 级 100% 合规保证)而不是仅靠 prompt 约束 —— Vellum 等工程实践的共识是"JSON mode 只保证合法 JSON、不保证结构,能用 Structured Outputs / function calling 就别裸奔"。
| 技术 | 核心思想 | 适用任务 | 代表效果 | 代价 |
|---|---|---|---|---|
| CoT 思维链 Wei et al. 2022 | 示例中展示推理步骤,诱导模型"先想后答" | 数学、多步逻辑、需要中间状态的任务 | PaLM 540B 在 GSM8K 上准确率提升 3 倍量级 | 输出 token 显著增加 |
| Zero-shot CoT Kojima et al. 2022 | 只加一句"Let's think step by step" | 没时间写示例的推理任务 | InstructGPT 在 GSM8K 从 10.4% → 40.7% | 几乎零成本,但弱于 few-shot CoT |
| Self-Consistency 自一致性 Wang et al. 2022 | 高温采样多条推理路径,答案投票取多数 | 有唯一正确答案的推理题 | 在 CoT 基础上 GSM8K 再 +17.9% | N 倍推理成本(常取 5-40 路) |
| ToT 思维树 Yao et al. 2023 | 把推理展开成树:生成多个候选思路→自评→回溯搜索 | 需要探索/回溯的规划类难题 | 算 24 点游戏:GPT-4 CoT 4% → ToT 74% | 成本与工程复杂度都很高,日常少用 |
| ReAct Yao et al. 2022 | 推理(Thought)与行动(工具调用)交替,Agent 的原型范式 | 需要查外部信息/操作工具的任务 | 是当今所有工具型 Agent 的思想源头 | 需要工具执行环境 |
| Step-back 后退提示 Zheng et al. 2023 | 先问一个更抽象的原理问题,再解具体题 | 需要先框定原理/背景的问题 | Google 白皮书收录的稳健技巧 | 多一轮调用 |
效果数字均来自原论文特定模型/数据集,用于理解"量级",不可直接外推到你的任务。
| 方法/工具 | 思路 | 关键事实 |
|---|---|---|
| APE Zhou et al. 2022 | 让 LLM 生成候选指令 → 在评估集打分择优 | 机器找到的"Let's work this out in a step by step way to be sure we have the right answer"击败了人类的"Let's think step by step" |
| OPRO DeepMind 2023 | 把优化轨迹(prompt→分数)喂回 LLM 迭代生成更优 prompt | 发现"Take a deep breath and work on this problem step-by-step",把 PaLM 2-L 的 GSM8K 提到 80% 量级 |
| DSPy Stanford,开源 | "编程而非提示":声明任务签名,编译器自动优化示例与指令(MIPROv2 等优化器) | 《The Prompt Report》案例研究:作者(资深提示工程师)人工调参 20 小时,被 DSPy 自动优化击败 |
| GEPA 2025,DSPy 生态 | 反思式 prompt 进化:用语言反馈代替标量 reward 迭代 | 以远少于强化学习的 rollout 数达到更优效果,2025-2026 社区热度最高的优化器 |
| 元提示 Meta-prompting 零门槛版 | 让强模型帮你改 prompt:"这是我的 prompt 和失败案例,请诊断并改写" | Anthropic Console / OpenAI Playground 都内置了 prompt 生成器;个人日常提效首选 |
使用条件:自动优化的前提恰恰是 L4 第一步——你得有评估集和度量指标。没有指标,机器和你一样只能瞎调。个人学习路径建议:先用元提示(成本为零),团队生产再上 DSPy/GEPA。
| 模型家族 | 官方偏好的结构 | 需要注意的脾气 |
|---|---|---|
| OpenAI GPT 系 | Markdown 分节、# 标题、developer/system 消息承载规则 | 推理档(o 系 / GPT-5 thinking)prompt 要简短直接、禁 CoT 咒语;结构化输出用 response_format 而非口头约束 |
| Anthropic Claude | XML 标签结构(<instructions><context><example>)、预填充(assistant 起始词)控制输出形态 | 对角色设定与"给它一个思考空间"(<thinking> 标签)响应好;官方交互式教程是全网质量最高的免费课之一 |
| Google Gemini | 简洁直接指令 + few-shot;官方强调"几乎所有场景都该给示例" | Gemini 3 对冗长 prompt 会过度分析;verbosity 需显式控制;长上下文能力强但同样有位置偏差 |
| 国产开源系(Qwen/DeepSeek 等) | 中文任务直接用中文写 prompt;结构化偏好与 GPT 类似 | DeepSeek-R1 类推理模型官方同样建议零示例、简洁提问;开源部署时注意 chat template 是否正确,模板错了一切技巧归零 |
大师习惯:换模型 = 重新过一遍评估集(L4 的基建在此变现)。跨模型迁移时优先重写结构层(分隔符风格、系统消息用法),任务描述层通常可复用。
调研中心 · 大模型能力系列 | 编制:AI 调研助手 | 2026-07-30 | 三轮迭代检索,关键结论经官方文档 + 学术论文 + 社区实战交叉验证;论文效果数字均标注原始出处,外推需谨慎。