AI 通关攻略 · 第 8 关 | Few-shot CoT：两个技巧让 AI 回答质量翻倍

AI 通关攻略 · 第 8 关 | Few-shot CoT两个技巧让 AI 回答质量翻倍什么是 Prompt Engineering在使用 LLM 时如何提问即 Prompt 如何设计会显著影响输出质量。Prompt Engineering提示词工程就是在不改变模型的情况下通过优化提问方式让模型输出更好的结果。Few-shot 和 CoT 是 Prompt Engineering 中两个最核心、最实用的技巧。Zero-shot零样本先说一个基准概念Zero-shot。Zero-shot 就是直接提问不给任何示例用户把今天天气真好翻译成英文。LLMThe weather is really nice today.Zero-shot 是最简单的方式也是大多数人的默认用法。Few-shot少样本学习2.1 什么是 Few-shotFew-shot 是在提问时先给 LLM 提供几个示例Examples让它从示例中学习规律再回答你的问题。格式示例1输入 → 期望输出示例2输入 → 期望输出示例3输入 → 期望输出可选你的问题2.2 Few-shot 的例子场景把中文翻译成英文Zero-shot 方式把我喜欢吃苹果翻译成英文。Few-shot 方式请将以下中文翻译成英文中文“你好”英文“Hello”中文“谢谢”英文“Thank you”中文“我喜欢吃苹果”英文Few-shot 的效果往往明显好于 Zero-shot因为LLM 从示例中学到了翻译任务的模式示例帮助模型理解输出格式和语气减少了歧义翻译成英文可以有很多风格示例明确了是哪一种2.3 One-shot vs Few-shot方式示例数量效果Zero-shot0 个基准水平One-shot1 个略有提升Few-shot2~10 个通常效果最好注意示例太多超过 10 个不一定更好反而可能超过 context window 限制且让 LLM 困惑。2.4 Few-shot 的适用场景适合 Few-shot不适合 Few-shot需要特定输出格式JSON、代码等简单的事实问答需要遵循某种逻辑模式开放式创意写作任务边界不明确示例能澄清需要最新知识的问题领域术语多示例能提供上下文复杂推理更适合 CoTCoTChain-of-Thought思维链3.1 什么是 CoTCoTChain-of-Thought思维链是一种让 LLM 分步骤推理的技术。核心思想不要直接给答案让模型先把推理过程说出来。3.2 CoT 的例子问题小明有 5 个苹果给了小红 2 个又买了 3 个小明现在有几个苹果没有 CoT 的回答小明现在有 6 个苹果。有 CoT 的回答小明原来有 5 个苹果。给了小红 2 个5 - 2 3又买了 3 个3 3 6所以小明现在有 6 个苹果。看起来答案一样但推理过程能大幅减少复杂推理中的错误。3.3 Zero-shot CoT最简单的 CoT 方式在问题后面加一句请一步一步思考Let’s think step by step。用户小明有 5 个苹果给了小红 2 个又买了 3 个小明现在有几个苹果请一步一步思考。不需要给任何示例模型会自动展开推理过程。3.4 Few-shot CoT给示例时把推理过程也作为示例的一部分示例问题小明有3个球又买了2个给了小红1个现在有几个推理小明原来有3个球。又买了2个325。给了小红1个5-14。答案4个。问题小明有5个苹果给了小红2个又买了3个小明现在有几个苹果推理3.5 CoT 的效果研究表明CoT 在以下场景中效果显著场景CoT 效果数学推理鸡兔同笼、分数计算等✅ 显著提升逻辑推理前提→结论✅ 显著提升多步骤问题3步以上✅ 显著提升代码生成与调试✅ 有帮助简单事实问答❌ 基本没用反而增加 token 消耗开放式写作/创意❌ 基本没用3.6 CoT 的原理为什么让模型说出来思考过程就能更准确外化了中间状态推理过程让每一步的计算都清晰可见减少了直觉性错误强迫模型做深度处理说出推理过程需要模型真正执行逻辑而不是靠模式匹配自我纠错推理过程中如果发现逻辑矛盾模型可以在后续步骤中修正Few-shot vs CoT 的关系Few-shot 和 CoT 不是互斥的它们可以组合使用Few-shot CoT 先给示例Few-shot 示例中包含推理过程CoT这是当前 Prompt Engineering 的最强形态之一。进阶技巧Self-Consistency自洽性Self-Consistency自洽性是在 CoT 基础上的进一步优化让 LLM 多次生成不同的推理路径统计哪个答案出现的次数最多选择出现最多的那个答案类比就像考试时做完一道难题后换一种方法验算一遍如果两种方法得到相同答案信心就更强。Self-Consistency 的效果在数学推理任务上通常能让准确率提升 5~15 个百分点。实用建议汇总场景推荐做法简单事实问答Zero-shot直接问需要特定格式输出Few-shot给格式示例复杂数学/逻辑推理CoT让模型分步思考困难推理 需要高准确率Few-shot CoT Self-Consistency开放式创意写作Zero-shot 或 Few-shot给风格示例总结Zero-shot 直接问基准Few-shot 给示例让模型学习模式CoT 让模型说推理过程减少推理错误Few-shot CoT 给带推理过程的示例最强组合Self-Consistency 多次推理取最常见答案进一步提高准确性记住Few-shot 和 CoT 是零成本的技巧——不需要改变模型、不需要训练只需要优化提问方式。在很多场景下精心设计的 Few-shot CoT 可以接近甚至达到 Fine-tuning 的效果。