随着LLM 大语言模型的兴起,越来越多的对话机器人 app 应用而生,比如字节跳动的豆包,ChatGPT,Gemini 等都成为了当下大家比较热捧的聊天工具。当然很多模型也支持多模态模型,不仅可以读取输入文本,也可以上传图片,文件,视频,音频等文件,通过多模态的理解能力,让聊天机器人能够更加容易和人类沟通。本期介绍的是 Google 发布的NotebookLM笔记本工作,其NotebookLM工具借助于 Gemini 大语言模型的多模态能力,让学生,科研工作者可以很容易记录,学习。
NotebookLM 是一款实验性产品,旨在利用大语言模型的强大功能和前景,结合现有的内容,更快地获得关键内容。我们可以将其视为虚拟研究助手,可以总结事实、解释复杂的想法并集思广益。
NotebookLM 与传统 AI 聊天机器人之间的一个主要区别是,NotebookLM 可将语言模型“固定在”自己的笔记和材料来源中。来源固定可有效创建精通与相关信息的个性化 AI。用户可以将 NotebookLM 固定在选择的特定 Google 文档中。上传 PDF 文件、网站、YouTube 视频、音频文件、Google 文档或 Google 幻灯片后,NotebookLM 会对其进行总结,并在主题之间建立有趣的联系,这一切都得益于 Gemini 1.5 的多模态理解能力。
当添加完所有材料来源后,NotebookLM 就会开始工作,成为自己最关注的信息领域的个性化 AI 专家。模型会自动解析所有的材料,并建立其每个材料之间的联系,并汇总出最核心的知识。
任何人都可以放心地使用 NotebookLM 的所有回答,因为它会为生成的内容提供明确的引用,并显示来源中的确切引文。
只需点击一下,全新的“音频概览”功能就能将来源转化为引人入胜的音频文件,待自己看烦了笔记本内容,采用聆听的方式,也是一个不错的选择。
获取摘要:当你第一次将 Google Doc 添加到 NotebookLM 时,它会自动生成摘要以及关键主题和问题,以便更好地理解材料。
提出问题:当准备好进行更深入的了解时,可以针对上传的文档提出问题。
获取想法: NotebookLM 不仅仅用于问答。它的一些更令人愉快和有用的功能是能够帮助人们想出创造性的新想法。例如:内容创建者可以上传他们对新视频的想法并询问:“为这个主题的短视频生成一个脚本。”
直接在NotebookLM网站,上传自己的资料,比如论文什么的,等待一会,NotebookLM会自动汇总内容的摘要,当然针对里面的内容,也可以让NotebookLM回答里面的问题。
小编这里上传了 flash attention 的论文,如下是NotebookLM给的汇总,是不是比较专业。
本文介绍了一种名为 FlashAttention 的新算法,该算法旨在解决 Transformer 模型在处理长序列时速度慢且内存占用大的问题。 FlashAttention 通过将注意力计算分解为更小的块,并利用 GPU 上的快速内存(SRAM)来减少对较慢内存(HBM)的访问次数,从而显著提高注意力计算的速度和效率。该论文分析了 FlashAttention 的 I/O 复杂度,证明它比传统的注意力算法需要更少的 HBM 访问,并且在一定范围的 SRAM 大小下是最优的。此外,该论文还将 FlashAttention 扩展到块稀疏注意力算法,使其比现有的任何近似注意力方法更快,并展示了它在长文档分类和 Path-X 等任务上的有效性。当然若有什么问题,也可以直接针对问题进行问答,模型除了可以回答外,还可以进行相关文章的音频输出。当然也可以随时上传相关的资料,让模型更加丰富,让知识更加容易学习,希望通过NotebookLM的功能,给你带来更多的创意。
NotebookLM 是工作和学校项目的绝佳资源(该项目团队实际上刚刚启动了 NotebookLM Business 的试点计划,用于在工作场所内进行协作)。但它也是办公室或课堂之外许多创造性用途的绝佳工具。
https://notebooklm.google/https://blog.google/technology/ai/notebooklm-google-ai/https://notebooklm.google.com/notebook/