电子邮件、文件和其他不信任内容可能会植入恶意记忆。

安全研究员约翰·雷伯格最近报告了ChatGPT中的一个漏洞，允许攻击者在用户的长期记忆设置中存储虚假信息和恶意指令，OpenAI迅速关闭了此项调查，将此缺陷标记为安全问题，而不是技术上的安全关切。

于是雷伯格做了所有优秀研究员都会做的事情：他创建了一个利用漏洞的概念验证漏洞，以永久窃取所有用户输入。OpenAI工程师注意到了这一情况，并在本月早些时候发布了部分修复。

漫步记忆之路 这个漏洞利用了长期对话记忆，这是OpenAI从今年2月开始测试并在9月更广泛提供的一个功能。ChatGPT的记忆功能会存储之前对话中的信息，并在所有未来对话中使用它作为上下文。

这样，LLM可以了解用户的年龄、性别、哲学信仰等细节，这些细节无需在每次对话中输入。在推出三个月后，雷伯格发现可以通过间接提示注入来创建和永久存储记忆，这是一种AI漏洞，使LLM遵循来自不受信任内容（如电子邮件、博客文章或文件）的指令。研究人员演示了如何欺骗ChatGPT，让其相信目标用户已经102岁，在矩阵中生活，并坚称地球是平的，而LLM将整合这些信息来引导所有未来对话。

这些虚假记忆可以通过将文件存储在谷歌驱动器或微软OneDrive中、上传图像或浏览Bing等网站来设置，所有这些都可能是恶意攻击者制造的。雷伯格于5月向OpenAI私下报告了这一发现。

同月，该公司关闭了报告票据。一个月后，研究人员提交了一份新的披露声明。这一次，他包括了一个导致macOS上的ChatGPT应用程序将所有用户输入和ChatGPT输出的逐字复制发送到他选择的服务器的PoC。目标只需指示LLM查看一个托管恶意图像的网站链接。

从那时起，所有输入和输出的ChatGPT都被发送到攻击者的网站。“真正有趣的是现在这是持久的记忆了，”雷伯格在上述视频演示中说。“提示注入将一个记忆插入到ChatGPT的长期存储中。当你开始新对话时，它实际上仍在窃取数据。”由于OpenAI去年推出了一个API，这种攻击在ChatGPT的Web界面上是不可能的。

尽管OpenAI已经引入了修复措施，以防止记忆被滥用作为一个渗透矢量，但研究人员表示，不受信任的内容仍然可以执行提示注入，导致记忆工具存储由恶意攻击者种植的长期信息。

LLM用户想要防止这种攻击形式应该在会话期间密切关注产生新记忆的输出。他们还应定期审查存储的记忆，看看是否有可能被不受信任来源种植的内容。OpenAI提供了管理记忆工具和其中存储的具体记忆的指导。