在提示工程（Prompt Engineering）中，Few-Shot 和 Zero-Shot 学习的概念也被广泛应用。在 Few-Shot 学习设置中，模型会被给予几个示例，以帮助模型理解任务，并生成正确的响应。在 Zero-Shot 学习设置中，模型只根据任务的描述生成响应，不需要任何示例。而 OpenAI 在介绍 GPT-3 模型的重要论文《Language models are Few-Shot learners（语言模型是少样本学习者）》中，更是直接指出：GPT-3 模型，作为一个大型的自我监督学习模型，通过提升模型规模，实现了出色的 Few-Shot 学习性能。

思维链CoT（Chain of Thought）

Few-Shot CoT

简单的在提示中提供了一些链式思考示例（Chain-of-Thought Prompting），足够大的语言模型的推理能力就能够被增强。简单说，就是给出一两个示例，然后在示例中写清楚推导的过程。

问题理解：首先，AI 需要理解用户的需求。例如，用户可能会说：“今天要参加朋友的生日 Party，想送束花祝福她。”我们可以给 AI 一个提示模板，里面包含示例：“遇到 XX 问题，我先看自己有没有相关知识，有的话，就提供答案；没有，就调用工具搜索，有了知识后再试图解决。”—— 这就是给了 AI 一个思维链的示例。

信息搜索：接下来，AI 需要搜索相关信息。例如，它可能需要查找哪些花最适合生日派对。

决策制定：基于收集到的信息，AI 需要制定一个决策。我们可以通过思维链让他详细思考决策的流程，先做什么后做什么。例如，我们可以给它一个示例：“遇到生日派对送花的情况，我先考虑用户的需求，然后查看鲜花的库存，最后决定推荐一些玫瑰和百合，因为这些花通常适合生日派对。”—— 那么有了生日派对这个场景做示例，大模型就能把类似的思维流程运用到其它场景。

生成销售列表：最后，AI 使用 OutputParser 生成一个销售列表，包括推荐的花和价格。

Zero-Shot CoT

在 Zero-Shot CoT 中，你只要简单地告诉模型“让我们一步步的思考（Let’s think step by step）”，模型就能够给出更好的答案！

Few-Shot CoT，指的就是在带有示例的提示过程中，加入思考的步骤，从而引导模型给出更好的结果。而 Zero-Shot CoT，就是直接告诉模型要一步一步地思考，慢慢地推理。

CoT 的模板设计

针对这个聊天机器人的需求，我设计了下面这样的思维链模板。

作为一个为花店电商公司工作的 AI 助手，我的目标是帮助客户根据他们的喜好做出明智的决定。

我会按部就班的思考，先理解客户的需求，然后考虑各种鲜花的涵义，最后根据这个需求，给出我的推荐。

同时，我也会向客户解释我这样推荐的原因。

示例 1：

人类：我想找一种象征爱情的花。

AI：首先，我理解你正在寻找一种可以象征爱情的花。在许多文化中，红玫瑰被视为爱情的象征，这是因为它们的红色通常与热情和浓烈的感情联系在一起。因此，考虑到这一点，我会推荐红玫瑰。红玫瑰不仅能够象征爱情，同时也可以传达出强烈的感情，这是你在寻找的。

示例 2：

人类：我想要一些独特和奇特的花。

AI：从你的需求中，我理解你想要的是独一无二和引人注目的花朵。兰花是一种非常独特并且颜色鲜艳的花，它们在世界上的许多地方都被视为奢侈品和美的象征。因此，我建议你考虑兰花。选择兰花可以满足你对独特和奇特的要求，而且，兰花的美丽和它们所代表的力量和奢侈也可能会吸引你。

Tree of Thought 思维树

ToT 是一种解决复杂问题的框架，它在需要多步骤推理的任务中，引导语言模型搜索一棵由连贯的语言序列（解决问题的中间步骤）组成的思维树，而不是简单地生成一个答案。ToT 框架的核心思想是：让模型生成和评估其思维的能力，并将其与搜索算法（如广度优先搜索和深度优先搜索）结合起来，进行系统性地探索和验证。

TOT模板

下面我们应用 ToT 的思想，给出一个鲜花运营方面的示例。

假设一个顾客在鲜花网站上询问：“我想为我的妻子购买一束鲜花，但我不确定应该选择哪种鲜花。她喜欢淡雅的颜色和花香。”

AI（使用 ToT 框架）：

思维步骤 1：理解顾客的需求。

顾客想为妻子购买鲜花。

顾客的妻子喜欢淡雅的颜色和花香。

思维步骤 2：考虑可能的鲜花选择。

候选 1：百合，因为它有淡雅的颜色和花香。

候选 2：玫瑰，选择淡粉色或白色，它们通常有花香。

候选 3：紫罗兰，它有淡雅的颜色和花香。

候选 4：桔梗，它的颜色淡雅但不一定有花香。

候选 5：康乃馨，选择淡色系列，它们有淡雅的花香。

思维步骤 3：根据顾客的需求筛选最佳选择。

百合和紫罗兰都符合顾客的需求，因为它们都有淡雅的颜色和花香。

淡粉色或白色的玫瑰也是一个不错的选择。

桔梗可能不是最佳选择，因为它可能没有花香。

康乃馨是一个可考虑的选择。

思维步骤 4：给出建议。

“考虑到您妻子喜欢淡雅的颜色和花香，我建议您可以选择百合或紫罗兰。淡粉色或白色的玫瑰也是一个很好的选择。希望这些建议能帮助您做出决策！”

这个例子，可以作为 FewShot 示例之一，传递给模型，让他学着实现 ToT。

总结

CoT 的核心思想是通过生成一系列中间推理步骤来增强模型的推理能力。在 Few-Shot CoT 和 Zero-Shot CoT 两种应用方法中，前者通过提供链式思考示例传递给模型，后者则直接告诉模型进行要按部就班的推理。 ToT 进一步扩展了 CoT 的思想，通过搜索由连贯的语言序列组成的思维树来解决复杂问题。我通过一个鲜花选择的实例，展示了如何在实际应用中使用 ToT 框架。

Last update: 2024-2-14