ChatGPT是基于人工智能领域的自然语言处理技术，使用深度学习技术构建的一个大型语言模型。具体地说，ChatGPT是建立在OpenAI的GPT-4系列模型之上的，使用了大量的语言数据和预训练技术，可以生成高质量的文本，并且在准确度、叙述细节和上下文连贯性上具有更优的表现。
ChatGPT使用了两种主要的学习技术来训练模型：监督学习和强化学习。在监督学习中，ChatGPT使用大量的已标注的语言数据来训练模型，以帮助学习自然语言表达的规律。在强化学习中，ChatGPT使用了「人类反馈强化学习」（RLHF）的训练方法，该方法在训练中使用人类反馈，使ChatGPT不断地从错误中学习，并改善其生成的文本质量和对话流畅性。”
精选ChatGPT参考书
Deep Generative Modeling
作者：Jakub M. Tomczak，荷兰阿姆斯特丹自由大学
本书旨在概述深度生成模型中最重要的技术，并最终使读者能够设计并实践新的模型。本书的第一章介绍了本书主题并重点介绍了深度生成模型和一般概念的重要类别。作者在第二章、第三章和第四章讨论了边际分布的模型。第五和第六章中概述了联合分布模型的材料。第七章介绍了一类潜在变量模型，这些模型不是通过基于似然的目标学习的。最后一章中作者阐明深度生成如何用于快速发展的神经压缩领域。所有章节都附有代码，以帮助读者理解如何实现所介绍的方法。
本书将吸引来自不同背景的学生和研究人员，包括计算机科学、工程、数据科学、物理学和生物信息学。本书随附的完整代码可在Github上找到。
Machine Learning for Text
作者：Charu C. Aggarwal，美国IBM研究院
这本教材涵盖了一个连贯组织的文本分析框架，该框架整合了从信息检索、机器学习和自然语言处理等交叉主题中提取的材料，特别重视深度学习方法。本书的章节涵盖三大类：基本算法、领域敏感学习和信息检索，以及自然语言处理。
Text Data Mining
作者：宗成庆，中科院自动化研究所；
夏睿，南京理工大学；
张家俊，中科院自动化所模式识别国家重点实验室
文本数据挖掘是通过机器学习、自然语言处理和推理分析等方法，根据文本内容完成信息抽取、关系发现、热点预测、文本分类和自动摘要等具体任务的信息处理技术。文本数据挖掘与数据挖掘的关系如何？文本数据挖掘的内涵和外延分别是什么？文本数据挖掘涉及哪些核心技术？最新进展和未来趋势都有哪些？本书在2019年《文本数据挖掘》中文版的基础上进一步优化和更新，并且增加最新技术进展，一一回答上述问题，以期帮助广大对文本数据挖掘感兴趣的科研技术人员快速掌握相关技术。
Visual Question Answering
作者：吴琦，澳大利亚阿德莱德大学；
王鹏，西北工业大学；
王鑫，清华大学；
何晓东，京东人工智能研究院；
朱文武，清华大学
本书全面概述了视觉问答，涵盖了基础理论、模型、数据集和潜在的未来发展方向。本书主要分为五大部分，第一部分介绍深度学习和问答任务的基础知识；第二部分讨论了基于图像的视觉问答任务的发展状况；第三部分介绍基于视频的视觉问答任务的技术方法；第四部分描述了对未来研究具有重要意义和前景的方法和应用的进展；第五部分总结了本书主要内容，并提出了视觉问答技术未来发展的主要方向。
本书可以作为总结视觉问答领域使用的关键模型与主要方法的综合性书籍，也可作为计算机视觉和自然语言处理领域研究人员，尤其是专注于视觉问答的研究者和学生的教材。
Deep Reinforcement Learning
作者：Aske Plaat，荷兰莱顿大学
这本教科书的目的是提供深度强化学习领域的全面概述。这本书的目标读者是人工智能方向的研究生，以及希望更好地了解深度强化学习方法及其挑战的研究人员和从业者。使用本教材需要读者有计算机科学和人工智能本科水平的基础知识。
作者使用Python作为编程语言，描述了深度强化学习的基础、算法和应用。本书涵盖了构成该领域基础的无模型和基于模型的方法。由于本学科发展很快，作者还介绍了更高级的主题：深度多智能体强化学习、深度分层强化学习和深度元学习。
Representation Learning for Natural Language Processing
作者：刘知远，清华大学；
林衍凯，微信模式识别中心；
孙茂松，清华大学
本书全面介绍了自然语言处理表示学习技术的理论、方法和应用，内容包括三大部分：第一部分介绍了单词、短语、句子和文档等不同粒度语言单元的表示学习技术；第二部分介绍了与自然语言密切相关的世界知识、语言知识、复杂网络和跨模态数据的表示学习技术；第三部分整理了相关开放资源与工具，并探讨了面向自然语言处理的表示学习技术面临的重要挑战和未来研究方向。本书对于自然语言处理和人工智能基础研究具有一定的参考意义，既适合专业人士了解自然语言处理和表示学习的前沿热点，也适合机器学习、信息检索、数据挖掘、社会网络分析、语义Web等其他相关领域学者和学生作为参考读物。
Deep Learning in Natural Language Processing
编者：邓力，Citadel
刘洋，清华大学
本书回顾了深度学习的研究现状及其在主要自然语言处理任务中的成功应用，包括语音识别和理解、对话系统、词汇分析、解析、知识图谱、机器翻译、问答、情感分析、社会计算， 以及从图像生成自然语言。作者概述和分析了深度学习时代自然语言处理的各种研究前沿。本书的特色是由该领域的领先研究人员撰写的自成一体、综合性的章节，同时还提供了深度学习和 NLP 交叉领域的技术术语和常用首字母缩略词词汇表。
Deep Learning for NLP and Speech Recognition
作者：Uday Kamath，Digital Reasoning Systems Inc.；
John Liu，Intelluron Corporation；
James Whitaker，Digital Reasoning Systems Inc.
这本书分为三个部分，以适应不同的读者群体和他们的专业知识。第一部分包含了机器学习、自然语言处理和语音介绍；第二部分介绍了深度学习的基础知识；第三部分作者介绍了文本和语音的高级深度学习技术。
Foundation Models for Natural Language Processing
作者：Gerhard Paaß，德国弗劳恩霍夫智能分析与信息系统研究所；
Sven Giesselbach，德国弗劳恩霍夫智能分析与信息系统研究所
这本开放获取图书全面概述了自然语言处理（NLP）的基础模型研究和应用的最新技术水平，适用于熟悉基本自然语言处理概念的读者。
近年来，NLP预训练模型开发了一种革命性的新范式。这些模型首先在大量文本文档上进行预训练，以获得一般句法知识和语义信息。然后会针对特定任务进行微调，新范式通常可以以超人的准确度解决这些任务。当模型足够大时，可以通过提示来指导它们解决新任务，而无需任何微调。此外，它们可以应用于广泛的不同媒体和问题领域，从图像和视频处理到机器人控制学习。因为它们为解决人工智能中的许多任务提供了蓝图，所以它们被称为基础模型。
在简要介绍了基本NLP模型之后，本书介绍了主要的预训练语言模型 BERT、GPT 和序列到序列转换器，以及自注意力和上下文敏感嵌入的概念。进而讨论了改进这些模型的不同方法，例如扩展预训练标准、增加输入文本的长度或包括额外的知识。作者同时概述了相关应用领域的最佳表现模型，例如，问答、翻译、故事生成、对话系统、从文本生成图像等。此外，作者还提供了指向免费程序代码的链接。最后总结了人工智能的经济机遇、风险缓解和潜在发展。
AI Ethics
作者：Paula Boddington，英国西伦敦大学
这本书向读者介绍了人工智能开发和使用中的关键伦理问题。作者提供了关于人工智能伦理的核心概念和辩论的清晰易懂的信息，探讨了相关问题现在如何迫使我们解决关于人类生活、价值和意义。此外，本书还展示了基础和理论问题如何与具体争议相关联，重点是理解道德问题在实践中的表现。
作者对所有主题都进行了深入探讨，并利用历史和当前资源对伦理学和哲学中的相关辩论进行了清晰的解释。人工智能伦理问题在技术、监管、社会、宗教和文化等相关问题的背景下进行探讨，以帮助读者在更广泛的辩论和关注中对人工智能伦理的范围有细微的了解。
本书以学生和教育工作者为中心，它为读者提供了对不断发展的人工智能伦理领域的重要见解。此外，它还提供了一系列可用于分析和理解伦理问题的方法和策略，这些问题在整个案例研究中得到了说明。
本文转载自公众号【计算机科学讲义】| 学习ChatGPT，宝藏参考书大盘点
