Auto-CoT 提示方法让 LLM 自动生成自己的演示来提示复杂的推理，使用基于多样性的采样和零样本生成，减少创建提示的人力。实验表明，它与推理任务中的手动提示性能相匹配。
图片由作者使用 Midjourney 创建
要点思维链 （CoT） 提示通过提供分步示例来改进 LM 推理手动创建 CoT 演示需要大量的人力本文探讨了如何使用 LM 本身自动生成 CoT 演示所提出的 Auto-CoT 方法对问题进行聚类，然后对不同的问题进行采样以进行自我提示实验表明，Auto-CoT 与手动创建的 CoT 相匹配，无需人工参与介绍论文“大型语言模型中的自动思维链提示”探讨了为 GPT-4 等大型语言模型 （LLM） 创建有效“思维链”（CoT） 提示的自动化方法。CoT 提示涉及显示 LLM 示例，这些示例演示了从问题到最终答案的分步推理链映射。这提高了复杂推理任务的性能。
讨论然而，目前最好的 CoT 提示结果需要人工手动创建演示，并为每项任务量身定制手工制作的问题和详细的推理步骤。作者建议通过让 LLM 自动生成自己的 CoT 演示来进行提示，从而消除这种手动工作。他们的关键方法称为Auto-CoT，其工作原理是首先根据语义相似性对给定任务的问题进行聚类。然后，Auto-CoT 对涵盖不同集群的各种问题进行采样。对于每个抽样问题，Auto-CoT 在零样本模式下使用 LLM 本身来生成从问题到答案的推理链。它应用简单的启发式方法，根据长度和简单性选择链。
作者在 10 个推理数据集上进行了实验，评估了 Auto-CoT，这些数据集涵盖了算术、常识和符号逻辑问题。结果表明，Auto-CoT在手动创建演示的基础上，与CoT提示的性能相当或超过CoT提示，无需任何人工操作即可设计演示。一个关键的见解是，使用基于多样性的抽样而不是基于相似性的检索来选择提示性问题，可以减轻LLM的零样本推理产生的不完美演示的影响。Auto-CoT 还大大优于基线，例如检索类似问题或演示的随机抽样。
总的来说，这项工作提供了强有力的证据，证明LLM可以促使自己展示复杂的多步骤推理。Auto-CoT 实质上由一个生成各种 CoT 示例的 LLM 组成，另一个 LLM 使用这些示例进行推理。作者认为，这种自我提示方法可以显着扩展提示技术，并使LLM在复杂的推理任务上成为更好的小样本学习者。限制包括潜在的计算成本和扩展到更不受约束的问题的问题。但是，自动提示的能力减少了人力和定制需求。
研究问答Auto-CoT 与其他自动创建提示的方法（如检索增强提示）相比如何？
检索增强提示检索相关数据示例以用于提示，而不是让 LLM 生成演示。一个关键的区别是，Auto-CoT不需要标记示例的数据集，而是依赖于LLM自己的零样本推理。检索可能更高效，但需要收集数据。Auto-CoT 是完全自动化的，但可能会受到不完美演示的影响。
Auto-CoT能否应用于逻辑推理之外的自然语言生成任务？
聚类和自提示方法似乎很有希望用于连贯性很重要的结构化程度较低的文本任务。例如，Auto-CoT可以为创意写作提供写作计划示例，或为对话机器人提供对话插图。关键的挑战是定义适当的聚类方法，并训练LLM的零样本生成，以实现高质量的演示。
这项研究有什么创新之处？
关键的创新是使用 LLM 本身来生成用于提示的演示，而不是依赖手动创建。这使得提示变得更加自动化和任务自适应。选择不同问题进行自我提示的聚类也具有创新性。
这项研究的更广泛含义是什么？
这项研究可以大大减少设计有效提示所需的人力和专业知识。它可能使LLM能够更快地从更少的数据中学习新任务，从而增强他们的小样本学习能力。自我提示方法可以应用于扩展提示技术，如上下文学习。
这项研究有哪些潜在的问题或疏忽，如果有的话？
一个潜在的问题是 Auto-CoT 依赖于基于 Sentence-BERT 的相似性特征的聚类问题。在语义相似性与推理相似性不一致的任务中，性能可能会受到影响。与标准提示相比，该方法还可能产生更高的计算成本。
这项研究的下一个研究步骤是什么？
接下来重要的步骤包括探索Auto-CoT如何扩展到更复杂和开放式的推理任务，将其与外部知识源的检索集成，以及研究是否可以通过元学习更有效地学习该方法，而不是仅仅依赖预先训练的LLM。分析聚类计数、样本量和性能之间的相互作用也是一个悬而未决的问题。
外卖Auto-CoT 减少了对手工制作演示以提示 LM 的需求Auto-CoT 的自提示由一个 LM 组成，生成不同的示例，另一个 LM 进行推断抽样问题的多样性是克服不完美的零样本推理链的关键这种方法可以扩展提示技术，使LM成为更好的小样本学习者Auto-CoT 展示了自动化提示以减少人力的承诺后续步骤包括将 Auto-CoT 扩展到更复杂的推理任务和更大的 LMMatthew Mayo（@mattmayo13）是一名数据科学家，也是开创性的在线数据科学和机器学习资源KDnuggets的主编。他的兴趣在于自然语言处理、算法设计和优化、无监督学习、神经网络和机器学习的自动化方法。Matthew拥有计算机科学硕士学位和数据挖掘研究生文凭。您可以通过 kdnuggets[dot]com 的 editor1 与他联系。
原文标题：Automating the Chain of Thought: How AI Can Prompt Itself to Reason
原文链接：https://www.kdnuggets.com/2023/07/automating-chain-of-thought-ai-prompt-itself-reason.html
作者：Matthew Mayo
编译：LCR
