提示工程技术全览

提示工程的目标,是有效地设计与改进提示词,从而在各类任务上从大语言模型(LLM)拿到更好的结果。

前面章节里的基础示例虽然有趣,但只是入门。这一章要讲的是更进阶的提示工程技术——它们让我们能完成更复杂的任务,并提升 LLM 的可靠性与性能。下面 18 种技术,大致可以按「需要什么能力」来分组阅读:从最朴素的零样本/少样本,到引导模型一步步推理的思维链家族,再到让模型连接外部知识、调用工具、甚至像智能体一样反思与行动的高级范式。

今天的大模型(如 GPT-3.5 Turbo、GPT-4、Claude 3)经过指令微调、在海量数据上训练,因此具备「零样本」完成部分任务的能力。

Classify the text into neutral, negative or positive.

Text: I think the vacation is okay.
Sentiment:

Neutral

尽管大模型零样本能力惊人,在更复杂的任务上它仍会力不从心。少样本提示通过在提示中放入演示来实现「上下文学习(in-context learning)」,引导模型给出更好的表现。

思维链提示由 Wei et al. (2022) 提出,通过中间推理步骤,赋予模型复杂推理能力。它可以与少样本提示结合,在「需要先推理再作答」的复杂任务上拿到更好结果。

零样本思维链(Zero-shot CoT)

Kojima et al. (2022) 提出一个更简单的点子:在原始提示后面加上一句「Let's think step by step(让我们一步步思考)」,就能在没有任何范例的情况下触发推理。

I went to the market and bought 10 apples.
I gave 2 apples to the neighbor and 2 to the
repairman. I then bought 5 more apples and ate 1.
How many apples did I remain with?
→ 输出:11 apples(错误)

...How many apples did I remain with?

Let's think step by step.
→ 模型逐步:10 → 给出4个剩6 → 买5个=11
→ 吃1个 = 10 apples(正确)

自动思维链(Auto-CoT)

手工编写多样且有效的 CoT 演示很费力,还可能不是最优解。Zhang et al. (2022) 提出 Auto-CoT:用 LLM 配合「Let's think step by step」自动逐个生成推理链作为演示。自动生成难免出错,因此关键在于「演示的多样性」来抵消错误的影响。

1. 阶段一:问题聚类把数据集里的问题划分成若干个簇(cluster)。
2. 阶段二:演示采样从每个簇里挑一个代表性问题,用零样本 CoT + 简单启发式规则生成它的推理链。

这里的「简单启发式」可以是问题长度(如约 60 个 token)、推理步骤数(如 5 步),目的是鼓励模型用简洁而准确的演示。

元提示是一种进阶技术,它聚焦于任务与问题的结构和句法层面,而不是具体的内容细节;目标是构造一种更抽象、更结构化的方式来与 LLM 交互,强调信息的「形式与模式」而非传统的「内容中心」做法。

五个关键特征

• 面向结构:优先关注问题与解答的格式、模式,而非具体内容。
• 句法导向:把句法当作「期望回答/解法」的模板。
• 抽象示例:用抽象化的示例作为框架,只展示问题与解法的结构,不纠缠具体细节。
• 通用性强:可跨多个领域使用,为各类问题提供结构化回应。
• 分类式方法:借鉴类型论(type theory),强调对提示中各组成部分进行分类与逻辑编排。

相比少样本提示的优势

Zhang et al. (2024) 报告,元提示与少样本提示的根本差别在于:元提示是结构导向,少样本是内容驱动。在 MATH 基准的解题示例中,二者形成鲜明对比。元提示的优势包括:

自洽性是较为进阶的技术之一,旨在替换思维链里那种朴素的「贪心解码」。思路是:通过少样本 CoT 采样出多条不同的推理路径,再用这些生成结果挑出「最一致的答案」。它能提升 CoT 在算术与常识推理任务上的表现。

📎 需先理解 思维链 CoT——自洽性是建立在 CoT 之上的「多采样 + 投票」增强。

1. 多次采样推理路径对同一个问题,用带温度的采样让模型生成多条不同的「推理 + 答案」。比如一道年龄题,模型可能走出几条不同算法。
2. 提取每条路径的最终答案从每条推理链末尾取出它给出的答案(如三条分别得 67、67、35)。
3. 多数表决统计哪个答案出现得最多,把「多数答案」作为最终结果。原指南示例里 67 出现两次、35 出现一次,于是 67 胜出——而单次贪心解码恰恰可能错答成 35。

一个流行思路是:把知识/信息纳入提示,帮助模型做出更准确的预测。那么——能不能让模型在作答前先自己生成知识?这正是 Liu et al. (2022) 尝试的:生成知识,作为提示的一部分,尤其用于常识推理类任务。

为提升 LLM 的可靠性与性能,一项重要技术是把任务拆成子任务:用一个提示完成一个子任务,把它的输出当作下一个提示的输入,如此串成一条「提示操作链」。

1. 提示 1:抽取引文给定文档与问题,先只做一件事——把相关引文摘出来,用 <quotes></quotes> 包裹。
2. 提示 2:据引文作答把上一步抽出的引文连同原文档喂进来,让模型基于这些证据写出最终答案。你甚至可以在链中再加一步去清理引文里的引用编号。

对于需要探索或具备策略性前瞻的复杂任务,传统提示方法力不从心。思维树(ToT)在思维链之上做了推广,鼓励模型探索「作为中间步骤的思路(thoughts)」来进行通用问题求解。

两个版本的差异

Yao et al. (2023) 与 Long (2023) 的核心思想相似——都通过「多轮对话 + 树搜索」增强复杂问题求解。主要区别在于:Yao 用通用的 DFS/BFS/束搜索(不针对具体问题做适配);而 Long 提出一个由强化学习训练的「ToT 控制器」来决定何时回溯、回溯几层。后者能从新数据或自博弈中学习(类似 AlphaGo vs 暴力搜索),因此即便底层 LLM 固定,这套 RL 驱动的 ToT 系统也能持续进化。

把 ToT 当成一句提示用

Hulbert (2023) 提出 Tree-of-Thought Prompting,把 ToT 的核心思想浓缩成一个简单提示,让 LLM 在单个提示里就去评估中间思路。示例提示大意是:

Imagine three different experts are answering this question.
All experts will write down 1 step of their thinking,
then share it with the group.
Then all experts will go on to the next step, etc.
If any expert realises they're wrong at any point then they leave.
The question is...

此外 Sun (2023) 对这种提示做了大规模实验,并提出 PanelGPT——让多个 LLM 像「专家组讨论(Panel discussion)」那样来提示。

通用语言模型经过微调可完成情感分析、命名实体识别等任务,这些通常不需要额外背景知识。但对于更复杂、知识密集型的任务,可以构建一个能访问外部知识源的系统——这能提升事实一致性与可靠性,并缓解「幻觉(hallucination)」问题。

RAG 在 Natural Questions、WebQuestions、CuratedTrec 等多个基准上表现强劲;在 MS-MARCO 与 Jeopardy 问题上,它生成的回答更具事实性、更具体、更多样;在 FEVER 事实核查上也有提升。如今这类「检索器 + LLM(如 ChatGPT)」的组合越来越流行,用于提升能力与事实一致性。

把思维链与工具交错使用,已被证明是应对许多任务的强大且稳健的方法。但这类做法通常需要手工编写任务专属演示,并精心脚本化「模型生成」与「工具调用」的交错。ART 提出用一个冻结的 LLM 自动生成中间推理步骤(作为程序)。

📎 相关:ART 与 ReAct 都属于「推理 + 工具/行动」一类,区别在于 ART 更强调自动从库中检索演示并把推理写成可调用工具的程序。

APE 是一个自动生成与筛选指令的框架。它把「指令生成」这个问题,当作一种自然语言合成问题来处理,并用 LLM 把它当作黑盒优化问题来生成并搜索候选解。

1. 生成候选指令一个充当「推理模型」的大语言模型,在给定输出演示后,生成一批针对该任务的候选指令。
2. 执行并评分这些候选指令被「目标模型」执行,再根据计算出的评估分数,选出最合适的那一条。

延伸:自动优化提示的相关工作

APE 触及了「自动优化提示」这一重要主题。原指南列出了几篇关键论文供深入:

思维链方法依赖一组固定的、人工标注的范例。问题是:这些范例未必是不同任务下「最有效」的例子。Active-Prompt 应运而生,用于让 LLM 适配到不同任务专属的范例提示(这些范例带有人工设计的 CoT 推理)。

1. 初始查询用「带或不带少量 CoT 范例」的方式去查询 LLM,对一组训练问题各生成 k 个可能答案。
2. 计算不确定性基于这 k 个答案计算一个不确定性指标(用「分歧度 disagreement」)。
3. 挑最不确定的来标注选出最不确定的那些问题,交给人类去标注 CoT 推理。
4. 用新范例推理把这些新标注的范例,用于推理每一个问题。

Li et al. (2023) 提出这一技术,目的是更好地引导 LLM 生成期望的摘要(及其他输出)。

PAL 让 LLM 读懂自然语言问题,并把程序作为中间推理步骤生成出来。它与思维链的关键区别在于:CoT 用自由文本得到解,而 PAL 把求解这一步「卸载」给一个程序运行时(如 Python 解释器)。

# 今天是 2023/2/27,25 年前出生
today = datetime(2023, 2, 27)
born = today - relativedelta(years=25)
# 按 %m/%d/%Y 格式化
born.strftime('%m/%d/%Y')

这段 llm_out 的内容是一段 Python 代码片段,再用 exec 执行它,最终输出:02/27/1998。计算的正确性由解释器保证,而非靠模型「心算」。

ReAct 让 LLM 以交错的方式同时生成推理轨迹(reasoning traces)与任务专属的行动(actions)。推理轨迹帮助模型归纳、追踪、更新行动计划,甚至处理异常;行动步骤则让模型能与外部源(如知识库或环境)交互、获取信息。

📎 ReAct 融合了 思维链 与工具调用。原指南指出:最佳做法是把 ReAct 与 CoT 结合,从而同时利用模型的内部知识与推理中获取的外部信息。

Thought 1  我需要搜索「Colorado orogeny」,找出其东段延伸到的区域…
Act 1      Search[Colorado orogeny]
Obs 1      Colorado orogeny 是一次造山运动…
Thought 2  它没提到东段,我需要查「eastern sector」
Act 2      Lookup[eastern sector]
Obs 2      东段延伸进 High Plains,称 Central Plains orogeny
...        (反复 思考→行动→观察)
Act 5      Finish[1,800 to 7,000 ft]

实验结论

• 知识密集任务(HotpotQA / Fever):ReAct 普遍优于「只行动(Act)」;在 Fever 上超过 CoT,在 HotpotQA 上略逊于 CoT。
• 原因分析:CoT 易出事实幻觉;ReAct 的结构约束降低了推理步骤的灵活性,且高度依赖检索质量——无信息量的搜索结果会带偏模型。
• 把 ReAct 与「CoT + 自洽性」结合、并允许在两者间切换的方法,整体表现最好。
• 决策任务(ALFWorld 文字游戏 / WebShop 购物环境):ReAct 优于 Act——没有「思考」的 Act 无法正确把目标分解为子目标;但当前基于提示的方法离人类专家水平仍有差距。

实践中,LangChain 已内置 ReAct 框架,可把 LLM 与各种工具(如搜索 API、计算器)组合成执行任务的智能体。

Reflexion 是一个用语言反馈来强化「基于语言的智能体」的框架。按 Shinn et al. (2023) 的说法,它是一种「言语(verbal)强化的新范式」,把策略参数化为「智能体记忆编码 + 所选 LLM 参数」。

高层来看,Reflexion 把来自环境的反馈(自由语言或标量)转化为语言反馈,即「自我反思(self-reflection)」,作为下一轮(episode)里 LLM 智能体的上下文。这让智能体能快速有效地从过去的错误中学习,在许多高级任务上提升表现。

三个组成模型

简言之,Reflexion 的关键步骤是:a) 定义任务 → b) 生成轨迹 → c) 评估 → d) 反思 → e) 生成下一条轨迹。它通过引入自评、自我反思与记忆组件,扩展了 ReAct 框架。

效果

实验显示 Reflexion 在多类任务上显著提升:决策类(AlfWorld,ReAct+Reflexion 用自评技术完成 130/134 任务,大幅超过 ReAct)、推理类(HotPotQA)、编程类(Python 的 HumanEval,以及 MBPP、Rust、Leetcode Hard 上多达 SOTA)。

什么时候该用 Reflexion

• 需要从试错中学习:适合决策、推理、编程等可通过反思过往错误来改进的任务。
• 传统 RL 不切实际时:它无需微调底层语言模型,在数据与算力上更高效,是轻量替代。
• 需要细致反馈:言语反馈比标量奖励更细腻具体,利于做有针对性的改进。
• 看重可解释性与显式记忆:自我反思被存入记忆,便于分析与理解其学习过程。

传统思维链只聚焦语言模态。多模态 CoT 则把文本与视觉信息纳入一个两阶段框架。

1. 阶段一:依据多模态信息生成「依据(rationale)」结合文本与图像,先产出推理依据。
2. 阶段二:答案推断利用上一步生成的、信息丰富的依据,推断出最终答案。

Liu et al. (2023) 引入 GraphPrompt——一个面向图(graph)的全新提示框架,用于提升下游任务的表现。

把前面所有技术按「解决什么核心问题」横向对照,便于回看与定位。