新方法将解决问题表示为对大型语言模型的推理步骤进行搜索，从而允许从左到右解码之外的战略探索和规划。这提高了数学谜题和创意写作等挑战的表现，并增强了 LLM 的可解释性和适用性。
图片由作者使用 Midjourney 创建
要点一篇新论文提出了一个“思想树”框架，以允许更深思熟虑地解决问题将推理过程表示为搜索可能的“思想”树使用LLM本身来产生和评估这些想法采用经典搜索算法来指导探索介绍最近，像 GPT-3 这样的大型语言模型 （LLM） 在数学推理和常识知识等领域表现出令人印象深刻的能力。然而，他们的基本文本生成方法——从左到右、逐个标记——可能会限制战略规划和探索。该论文表明，这种方法显着提高了LLM在数学难题和创意写作等挑战中解决问题的能力。
讨论最近的一篇论文《思想之树：用大型语言模型解决深思熟虑的问题》（Tree of Thoughts： Deliberate Problem Solving with Large Language Models）——作者是 Shunyu Yao、Dian Yu、Jeffrey Zhao、Izhak Shafran、Thomas L. Griffiths、Yuan Cao、Karthik Narasimhan——提出了一个名为“思想之树”(ToT)的新框架，以增强 GPT-3 和 GPT-4 等大型语言模型 （LLM） 的问题解决能力。目前，LLM 在生成文本时仅限于从左到右的令牌级决策，这在需要更多战略规划和探索的任务中可能不足。
ToT 将解决问题的过程表示为在树上的搜索，其中每个节点都是一个“思想”——一个连贯的文本块，代表一个中间推理步骤。这使得LLM可以探索多种推理路径，并评估不同思想解决问题的进展。具体而言，该框架涉及：
根据任务结构将问题分解为连贯的思维步骤。使用LLM在每个步骤中生成多个候选思想，可以独立地或按顺序根据先前的思想进行条件。让 LLM 通过价值估计提示来评估不同状态（部分解决方案）的承诺，这些提示评估了迄今为止的进展。使用经典的搜索算法，如广度优先搜索或深度优先搜索树，使用 LLM 的值估计来指导探索和修剪。这种深思熟虑的搜索使LLM能够向前看，回溯，并在需要时做出更多的全球选择。模块化框架与模型无关，可以灵活地调整其组件，如思维大小、生成、评估和搜索，以适应问题结构。
作者在三个新任务上演示了 ToT——24 人游戏、创意写作和迷你填字游戏。在所有情况下，ToT 都比标准提示基线显着提高了 GPT-4 解决问题的性能。例如，在 Game of 24 中，成功率从思维链提示的 4% 增加到 ToT 的 74%。
总体而言，ToT 提供了一种将经典 AI 的符号规划和搜索方法与现代 LLM 集成的方法。其基于语言的思想和审议的可解释性也为人类更好地协调提供了机会。作者提出了一个令人兴奋的新方向，以在LLM中开发更通用的问题解决能力。
研究Q&A问答思想之树方法与其他将符号规划或搜索与神经模型相结合的方法（例如 NeuroLogic 解码或 LLM+P 框架）相比如何？
ToT 框架的不同之处在于，它使用 LLM 本身在搜索过程中提供启发式指导，而不是依赖于单独的经典规划器 （LLM+P） 或硬编码启发式 （NeuroLogic）。基于语言的思想表征也比符号规划语言更灵活。然而，ToT 还没有达到 LLM+P 所展示的 LLM 和 planner 组件之间的紧密集成和双向通信水平。
思想之树方法能否应用于自然语言任务，如对话对话或故事生成，而不仅仅是受约束的推理任务？
虽然本文的重点是推理任务，但将可能的延续表示为可以考虑的思想的一般框架似乎适用于约束较少的生成问题。对于对话，想法可以是接下来要说的候选话语，而对于故事，它们可以是情节点或角色动作。关键的挑战是定义连贯的思维步骤和制定有效的评估提示。
这项研究有什么创新之处？
关键的创新是将语言模型推理构建为对思想树的搜索，而不仅仅是从左到右的标记生成。这允许更深思熟虑的规划、对替代方案的探索以及全球展望/回溯。与以前的搜索方法相比，将思想表示为连贯的语义单元也是一种创新。
这项研究的更广泛意义是什么？
这项研究可以显着增强LLM的问题解决和推理能力，使其能够用于更复杂的现实世界应用，如编码、数据分析、机器人等。它还使模型决策更具可解释性。经典搜索方法与神经模型的集成是一个令人兴奋的方向。
如果有的话，这项研究有哪些潜在的问题或疏忽？
探索的任务仍然相对简单。这种方法是否适用于更开放的问题还有待观察。与标准采样相比，搜索过程可能会产生更高的计算成本。修剪次优分支的启发式方法目前尚不完善。
这项研究的下一个合乎逻辑的研究步骤是什么？
接下来的重要步骤是探索更复杂的规划和决策任务的ToT，将其与外部知识检索相结合，并研究是否可以通过元学习或强化学习来更有效地学习变体，而不是仅仅依赖预先训练的LLM。分析思维规模、搜索预算和性能之间的相互作用也是一个悬而未决的问题。
外卖思想树范式展示了经典搜索技术如何与现代神经网络模型集成。允许 LLM 探索替代推理路径使他们的决策更具可解释性。该研究方向可以增强LLMs在复杂的现实世界规划和分析任务中的适用性。接下来的关键步骤是将该方法扩展到约束较少的问题，提高搜索效率，并研究如何学习这些技能。总的来说，思想之树的深思熟虑和语义推理为人工代理提供了令人兴奋的新功能。Matthew Mayo（@mattmayo13 岁）是一名数据科学家，也是开创性的在线数据科学和机器学习资源 KDnuggets 的主编。他的兴趣在于自然语言处理、算法设计和优化、无监督学习、神经网络和机器学习的自动化方法。Matthew拥有计算机科学硕士学位和数据挖掘研究生文凭。可以通过 kdnuggets[dot]com 的 editor1 与他联系。
原文标题：Exploring Tree of Thought Prompting: How AI Can Learn to Reason Through Search
原文链接：https://www.kdnuggets.com/2023/07/exploring-tree-of-thought-prompting-ai-learn-reason-through-search.html
作者：Matthew Mayo
编译：LCR
