引言
在脑胶质瘤的手术治疗中，如何精确检测和识别肿瘤的浸润边界一直是一个极具挑战性的难题。尽管现代手术工具在不断进步，但大多数胶质瘤患者在手术后仍会残留一些无法完全切除的肿瘤组织。这不仅增加了复发的风险，还对患者的生存率和生活质量造成严重影响。为了解决这一难题，来自密歇根大学（University of Michigan）等多所国际机构的研究团队开发了“FastGlioma”——一种全新的人工智能系统，为胶质瘤检测提供了快速且高精度的解决方案。（11月13日 Nature ”Foundation models for fast, label-free detection of glioma infiltration“）
胶质瘤是最常见的原发性脑肿瘤，其特征是快速生长并容易侵入周围的脑组织。在手术过程中，外科医生必须尽可能地清除肿瘤组织，同时尽量减少对健康脑组织的损害。为了达到这一目的，精确识别肿瘤与健康组织的边界至关重要，尤其是检测微小的浸润区域。然而，目前常用的手术引导方法（例如图像引导手术和荧光引导手术）在确定肿瘤边界时仍然存在诸多局限。
传统的手术中，肿瘤切除依赖于术中快速病理切片检查，例如冰冻切片（frozen section）技术。这种方法需要对手术中取出的组织进行染色，并由病理学家在显微镜下进行主观评估，整个过程耗时且依赖于病理学家的经验，具有较大的局限性。此外，近年来病理学家的短缺也使得快速病理检测的可行性受到限制。
FastGlioma：人工智能驱动的快速检测为应对这些挑战，研究团队开发了FastGlioma，这是一种基于人工智能的诊断工具。FastGlioma利用了一种名为激光拉曼散射显微成像（Stimulated Raman Histology, SRH）的技术，这是一种快速、无标记的亚微米分辨率光学成像方法。SRH成像的优势在于它可以基于样本的生化特性生成图像，而无需使用染色剂或标记物，使得SRH能够在手术过程中实现实时成像，从而显著缩短了从取样到获得结果的时间。
FastGlioma的工作流程包括以下几个步骤：首先，外科医生在手术过程中从肿瘤切除腔的边缘采集新鲜组织样本，并利用SRH成像设备对这些样本进行成像。然后，这些图像被输入到FastGlioma系统中，经过预训练的视觉基础模型（Vision Transformer）进行分析，最终给出肿瘤浸润程度的评分。整个过程从取样到获得结果不到10秒，极大提高了手术室内的工作效率。
FastGlioma工作流程的具体步骤（Credit: Nature）
在手术切除脑肿瘤的过程中，外科医生会从肿瘤切除腔的边缘采集组织样本，然后使用便携式激光拉曼散射显微成像（SRH）系统对新鲜切除的组织进行成像。这种成像技术无需组织处理，只需要简单地将组织放入特制的显微镜载玻片中并插入SRH成像设备中进行成像。SRH成像可以在手术室内完成，由技术员通过简单的触屏操作来执行，能够生成类似于H&E染色的图像供临床医生审阅。这些全幅SRH图像被分割成多个小块（patch），每个小块通过“patch tokenizer”进行处理，然后输入视觉变换器（vision transformer）进行编码。这些编码后的patch特征和附加的分类标记会被输入到全幅SRH编码器中，该模型经过大规模自监督训练来识别肿瘤浸润情况。此外，FastGlioma工作流程还包括对肿瘤浸润程度的评分。通过微调模型，系统能够输出一个连续评分，表示整个切片中肿瘤浸润的程度。这些评分与专家病理学家定义的四级肿瘤浸润等级相对应，有助于在手术过程中实时提供临床决策支持。FastGlioma的技术核心FastGlioma的核心是一种视觉基础模型（visual foundation model），与GPT-4和DALL-E等自然语言处理模型类似，FastGlioma通过在大量数据集上的预训练，具备了良好的泛化性能。具体来说，FastGlioma的视觉基础模型基于自监督学习（self-supervised learning）进行预训练，使用了约400万张显微图像数据，这些数据涵盖了超过11,000份手术标本。模型通过大量数据的学习，掌握了如何识别和量化组织中的不同特征，为后续的肿瘤浸润检测提供了坚实的基础。
为了精确识别肿瘤的浸润区域，研究人员采用了一种两阶段的自监督学习策略。在第一阶段，FastGlioma将整张显微图像分割为多个小块（Patchify），并通过训练得到的Patch Tokenizer将这些图像块转化为可处理的特征表示。第二阶段，模型对这些特征进行整合，通过视觉变换器（Vision Transformer）对整张图像进行编码，从而获得高质量的图像表示。
在实际操作中，FastGlioma利用弱序列监督（weak ordinal supervision）对肿瘤浸润程度进行评分。评分结果是一个介于0到1之间的连续值，用于表示肿瘤的浸润程度。这一评分与病理学家的评分高度相关，使得该系统成为有效的辅助诊断工具。
在训练过程中，FastGlioma使用了来自13个医学中心的多中心数据集，数据包括超过3,000名患者的影像数据，涵盖了中枢神经系统肿瘤和其他类型癌症。模型的训练采用了一种层次自监督学习（hierarchical self-supervised learning）的方法：首先对图像块的特征进行提取，然后通过视觉变换器学习整片图像的特征表示，从而在多类别脑肿瘤诊断任务中达到了最先进的水平。
此外，FastGlioma还利用了一种序列度量学习（ordinal metric learning）的方法来对肿瘤浸润程度进行评分。通过在由专家病理学家标注的小型数据集上进行微调，FastGlioma能够将肿瘤浸润程度分为四个等级：0表示正常脑组织，1表示存在非典型细胞但未确诊，2表示稀疏的肿瘤浸润，3表示密集的肿瘤浸润。模型通过一个线性滑块得分层输出0到1的连续值，为每个标本提供可操作的临床信息。
临床测试与多中心验证FastGlioma在多个国家和医疗中心进行了临床测试，包括美国的密歇根大学、加州大学旧金山分校以及奥地利的维也纳医科大学等。测试涵盖了220名患者，结果表明，FastGlioma在检测胶质瘤浸润方面的平均受试者工作特征曲线下面积（AUROC）达到了92.1% ± 0.9%，显著优于传统的图像引导和荧光引导手术辅助工具。
FastGlioma在不同的患者群体中表现出极高的抗干扰性，其性能在不同年龄、性别、种族的人群中保持一致，且适用于世界卫生组织（WHO）定义的各种胶质瘤分子亚型。这表明该系统在不同医疗环境中都具有良好的泛化能力，能够提供一致的诊断性能。
在前瞻性、多中心的国际测试队列中，FastGlioma被应用于220名患有弥漫性胶质瘤的患者，结果显示其AUROC达到了92.1% ± 0.9%。在与传统的图像引导和荧光引导手术辅助工具的头对头比较中，FastGlioma的检测性能显著优于这些传统方法，尤其是在不同患者群体和医疗中心之间依然保持了高水平的表现。
此外，FastGlioma在多中心验证中展示了其卓越的泛化能力（generalization ability）。这一点在不同类型的胶质瘤中得到了广泛验证，包括低级别胶质瘤和高级别胶质瘤。无论是在早期检测还是手术过程中实时提供反馈，FastGlioma都展现出了显著的优势。尤其是在胶质瘤侵润界面的复杂评估中，FastGlioma通过其AI驱动的深度学习模型，能够比现有方法更加准确地预测侵润区域。这一突破对肿瘤切除的彻底性有直接影响，因为不完全的切除常常是导致肿瘤复发的主要原因。
FastGlioma的临床测试也揭示了其在多样化病例中的强大适应性。在测试队列中，包含了不同年龄段（从儿童到老年人）和不同种族的患者，结果显示，FastGlioma在所有这些群体中的表现都保持了高度一致。此外，该系统不仅能有效识别不同类型的胶质瘤，还能处理恶性程度各异的病例。在一项针对低级别胶质瘤患者的亚组分析中，FastGlioma的检测准确率也达到了90%以上，进一步证明了其在处理复杂病例时的稳定性和可靠性。
直观性和可解释性在高风险的肿瘤检测场景中，人工智能系统的可解释性（interpretability）至关重要。为了增强系统的透明度，FastGlioma引入了一种名为少样本可视化（few-shot visualization）的可解释性框架。FastGlioma基于少量由医生选择的SRH图像块，评估待测区域与这些“钥匙”样本的特征相似性，生成肿瘤浸润的热力图。这种热力图直观地展示了整张显微图像中可能存在的肿瘤浸润区域，帮助外科医生更好地理解模型的预测结果，从而做出更为精准的手术决策。
这种少样本可视化的灵活性在于：医生可以根据手术的具体情况选择或添加不同的参考样本，而无需对模型进行重新训练。此外，FastGlioma的可视化结果在不同的医疗中心、肿瘤浸润程度以及分子亚型之间保持了一致性，进一步增强了其在临床中的可用性和信任度。
FastGlioma的可解释性设计还包括一种基于注意力机制（attention mechanism）的可视化方法。通过这种方法，系统能够突出显示那些对最终判断贡献最大的图像区域，使得医生能够更加清楚地了解模型做出判断的依据。这种透明度不仅有助于医生信任AI系统的诊断结果，还可以帮助他们在不确定的情况下做出更明智的决策。此外，这种基于注意力的可视化对于医学培训也具有重要价值，可用于帮助年轻医生更好地理解和识别肿瘤的微小特征。
为了进一步增强可解释性，FastGlioma系统还提供了一种层次热图（hierarchical heatmap）的方法。这种方法通过对整张显微图像分层处理，生成每一层级别的特征贡献热力图，从而展示肿瘤浸润区域的不同程度和范围。这种多层次的可视化提供了更多维度的信息，使医生能够更深入地理解肿瘤的结构和扩散模式。在手术决策过程中，这种多层次的可视化工具使外科医生能够更有信心地决定切除边界，减少对健康组织的伤害。
此外，FastGlioma的可解释性工具还允许医生与系统进行交互，通过调整可视化参数或选择不同的图像参考样本来观察模型的响应变化。这种交互性使得系统不仅是一个被动的工具，还成为手术团队的主动助手，帮助外科医生探索和确认复杂的诊断决策。这种交互方式大大增强了医生对系统的信任，也提高了手术的个体化和精确性。
FastGlioma的临床意义和未来FastGlioma的开发与成功应用标志着人工智能在脑肿瘤手术中的重要里程碑。在模拟的临床试验中，FastGlioma与传统手术辅助方法进行了对比，其在检测肿瘤浸润方面的表现显著优于传统方法。尤其在“继续切除”或“停止切除”这一关键决策中，FastGlioma表现出更低的误判率，使得患者术后残留可切除肿瘤的风险降低了6.3倍。
在头对头的性能比较中，FastGlioma的AUROC达到了98.1%，相比之下，荧光引导手术的AUROC仅为89.0%，而图像引导手术的AUROC则更低。这种显著的性能提升使FastGlioma成为更为可靠的手术辅助工具，有望在手术过程中帮助外科医生做出更精准的决策，从而提高患者的生存率和生活质量。
FastGlioma结合了实时、无标记的光学成像技术（SRH）和先进的AI算法，使外科医生能够在手术过程中实时获得肿瘤浸润的信息。这不仅有助于最大程度地切除肿瘤，提高患者的生存率，还能减少对健康组织的损伤，改善患者的术后生活质量。全球每年有超过1800万人被诊断为癌症，如何为这些患者提供安全、及时、经济的外科手术，成为癌症治疗中的关键挑战之一。FastGlioma作为新型手术辅助工具，展现了其在提升手术精确性和患者预后方面的巨大潜力。
未来，研究团队计划将FastGlioma的工作流程推广到其他类型的肿瘤，包括肺癌、前列腺癌、头颈部肿瘤和乳腺癌等。通过扩展SRH技术与AI模型的结合，FastGlioma有望为更多癌症患者带来福音。特别是在肺癌和乳腺癌等常见恶性肿瘤中，早期准确的检测和快速的手术反应对于改善患者的预后至关重要。FastGlioma的可扩展性和强大性能使得这一目标在未来成为可能。
此外，研究团队还计划开发基于FastGlioma的自动手术规划系统（automated surgical planning system），进一步利用AI的优势来优化手术路径和切除策略。这种系统可以基于患者的个体化数据，生成最优的手术切除计划，减少手术时间和并发症的发生率。结合机器人辅助手术技术，这一系统有望进一步提升脑肿瘤手术的精确性和安全性，推动神经外科手术进入全新的智能化时代。
未来的方向还包括探索多模态数据融合（multi-modal data fusion）的可能性。将SRH成像数据与其他成像技术（如MRI和CT）的数据结合，可能进一步提升模型的诊断精度和对肿瘤特征的理解。多模态数据的结合可以为医生提供更加全面的视角，使得对肿瘤的判断更加准确，从而制定更加个体化的治疗方案。此外，通过结合基因组学和蛋白质组学等数据，FastGlioma还有可能帮助实现从分子水平到宏观水平的多层次肿瘤分析。
随着数据量的增加和深度学习技术的突破，未来的FastGlioma可能会更加智能化、自主化，甚至能够在没有医生干预的情况下完成全自动的诊断和规划。这不仅将显著减少医生的负担，还将提高诊断的准确性和一致性。此外，FastGlioma的技术理念也可能扩展到远程医疗，使偏远地区的患者能够获得与大城市相同质量的手术辅助和诊断服务。通过技术的普及和成本的降低，FastGlioma及其衍生技术有望为全球更多的癌症患者带来希望。
参考文献
Kondepudi, A., Pekmezci, M., Hou, X. et al. Foundation models for fast, label-free detection of glioma infiltration. Nature (2024). https://doi.org/10.1038/s41586-024-08169-3责编|探索君
排版|探索君
转载请注明来源于【生物探索】
声明：本文仅用于分享，不代表平台立场，如涉及版权等问题，请尽快联系我们，我们第一时间更正，谢谢！
End
