对现有基于 AI 的大脑解码器的改进可以在无需数小时培训的情况下将人的想法转化为文本。
一组研究人员开发了一种算法，可以让在一个人身上训练的人工智能驱动的“大脑解码器”以最少的培训翻译另一个人的想法。 （图片来源：Jerry Tang/德克萨斯大学奥斯汀分校）
科学家们对使用人工智能 （AI） 将思想转换为文本的“大脑解码器”进行了新的改进。
该团队在一项新研究中报告说，他们的新转换器算法可以在另一个人的大脑上快速训练现有的解码器。科学家们说，这些发现有朝一日可能会支持失语症患者，失语症是一种影响人沟通能力的脑部疾病。
大脑解码器使用机器学习，根据大脑对他们听过的故事的反应，将一个人的想法翻译成文本。然而，解码器的过去迭代要求参与者在 MRI 机器内听故事数小时，而这些解码器仅适用于他们接受培训的个体。
“失语症患者通常在理解语言和产生语言方面遇到一些困难，”该研究的合著者、德克萨斯大学奥斯汀分校 （UT Austin） 的计算神经科学家亚历山大·胡斯 （Alexander Huth） 说。“所以，如果是这样的话，那么我们可能根本无法通过观察他们的大脑如何对他们听的故事做出反应来为他们的大脑建立模型。”
在 2 月 6 日发表在《当代生物学》（Current Biology） 杂志上的这项新研究中，Huth 和合著者、德克萨斯大学奥斯汀分校的研究生 Jerry Tang 研究了他们如何克服这一限制。“在这项研究中，我们一直在问，我们能以不同的方式做事吗？”“我们能否将我们为一个人的大脑构建的解码器转移到另一个人的大脑？”
研究人员首先在一些参考参与者身上训练了大脑解码器——在参与者收听 10 小时的广播故事时收集功能性 MRI 数据。
然后，他们在参考参与者和一组不同的 “目标 ”参与者上训练了两种转换算法：一种使用参与者花 70 分钟收听广播故事时收集的数据，另一种使用他们花 70 分钟观看与广播故事无关的无声皮克斯短片时收集的数据。
使用一种称为功能对齐的技术，该团队绘制了参考参与者和目标参与者的大脑如何对相同的音频或电影故事做出反应。他们使用这些信息来训练解码器与目标参与者的大脑一起工作，而无需收集数小时的训练数据。
接下来，该团队使用一个参与者以前从未听说过的短篇小说来测试解码器。尽管解码器的预测对于原始参考参与者的预测比使用转换器的参与者略准确，但它从每个参与者的大脑扫描中预测的单词在语义上仍然与测试故事中使用的单词相关。
例如，测试故事的一部分包括某人讨论他们不喜欢的工作，说“我是冰淇淋店的女服务员。所以，嗯，那不是......我不知道我想去哪里，但我知道不是那样。使用在电影数据上训练的转换器算法的解码器预测道：“我从事的工作我认为很无聊。我必须接受订单，我不喜欢它们，所以我每天都在处理它们。不是完全匹配——解码器不会读出人们听到的确切声音，Huth 说——但这些想法是相关的。
“真正令人惊讶和酷的是，即使不使用语言数据，我们也可以做到这一点，”Huth 。“因此，我们可以在某人观看无声视频时收集数据，然后我们可以利用这些数据为他们的大脑构建这个语言解码器。”
研究人员说，使用基于视频的转换器将现有的解码器传输给失语症患者可能有助于他们表达自己的想法。它还揭示了人类从语言和大脑中的视觉叙事中表示思想的方式之间的一些重叠。
“这项研究表明，有一些语义表示并不关心它来自哪种模式，”未参与这项研究的京都大学计算神经科学家 Yukiyasu Kamitani 。换句话说，它有助于揭示大脑如何以相同的方式表示某些概念，即使它们以不同的格式呈现。
Huth 说，该团队的下一步是在失语症参与者身上测试转换器，并“构建一个界面，帮助他们生成他们想要生成的语言”。
