中国科学技术大学苏州高等研究院和生物医学工程学院周少华教授团队提出了一种更精准且可解释的多模态癌症生存分析新方法。这一进展缩小了病理图像与基因表达数据之间的“语义鸿沟”，提高了癌症生存预测的准确性和可解释性，使更多患者能够从精准治疗中获益，同时避免过度治疗，优化医疗资源配置，为精准肿瘤诊治铺平道路。研究成果发表于《IEEE模式分析与机器智能汇刊》。
癌症生存分析在精准医学中至关重要，它能帮助医生制定个性化治疗方案。然而，传统分析方法一直面临病理图像和基因表达之间细粒度交互不足的问题。过去的研究仅用单一模态数据进行预测，无法全面反映癌症的复杂机制；即使尝试结合两种模态，也忽略了基因功能网络与病理图像区域间的细粒度关联，导致预测效果受限。
为解决这一难题，团队开发出全新的“通路感知多模态Transformer（PAMT）框架”。该框架通过三步实现多模态数据的细粒度交互和融合：首先让单模态数据内部充分传递信息，利用自注意力机制促进生物通路间和病理图像块间的信息交流；接着通过无配对标签对比学习方法，使生物通路和病理图像块的语义信息对齐；最后遵循“基因型决定表型”的医学先验，以生物通路为指导，实现两种数据的精准融合，捕捉到癌症发展的核心关联。
研究发现，PAMT在膀胱癌、肺鳞癌、肺腺癌三种癌症数据集上的生存预测性能显著优于现有主流方法，并且具有优秀的可解释性。PAMT能够协助病理医生快速筛选影响生存的关键生物通路，定位全切片病理图像中受通路影响的区域，并挖掘与预后相关的病理图像特征。团队已搭建公开网站，可视化展示186条生物通路对全切片病理图像各区域的影响，为科研和临床提供直接支持。
