丁香网 Nature子刊：清华大学闾海荣等开辟精确病分解诊AI基础模子，可已毕对胶质瘤多种分类任务的准确会诊

裁剪丨王多鱼丁香网

题图丨Pixabay

病理图像处理难度大，其图像分辨率高（百亿像素阁下）、数据量大，处理耗时耗资源。细胞和组织模式复杂多变且有各别，准确识别分析难。图像质地还受样本制备、染色等成分影响，易有噪声、暧昧等问题。此外，病分解诊需抽象多成分，条目算法能整合分析信息，已毕难度大。

为科罚上述贫窭，清华大学自动化系生命基础模子实验室闾海荣副络续员、江瑞栽植、张学工栽植与中南大学湘雅病院胡贤人栽植诱骗， 提倡了一种基于大区域兴味和金字塔Transformer的精确病分解诊AI基础模子ROAM，用于胶质瘤的临床级会诊和分子标志物发现，并可拓展到其他类型的病分解诊。

该络续责任以：A transformer-based weakly supervised computational pathology method for clinical-grade diagnosis and molecular marker discovery of gliomas 为题，于2024年7月18日，发表于Nature Machine Intelligence期刊。

胶质瘤是最常见的原发性颅内肿瘤，其会诊极具挑战性。ROAM梗概从病理图像中灵验索要丰富的多模范信息，已毕了对胶质瘤肿瘤检测、亚型分类、分级和分子特征瞻望等多种分类任务的准确会诊。

在里面数据上，ROAM的会诊性能超卓，梗概自动拿获与病理学家警戒一致的缺点模式特征，为胶质瘤提供准确、可靠和得当性强的临床级会诊。此外，ROAM还能执行到零丁的外部数据，具有出色的泛化智力。

通过可视化和证据会诊，ROAM梗概匡助病理学家考证模子会诊基础的可靠性，并索要有价值的信息。同期，它还能促进补助会诊，提高医疗水平。

最遑急的是，ROAM有助于发现分子和模式学生物标志物，为胶质瘤的会诊和诊治提供新的视力。

ROAM模子架构先容

ROAM是一种弱监督蓄意病理学容貌，该容貌以多示例学习为基本框架，李宗瑞种子以大尺寸组织图像块为基本络续单位，并汲取金字塔transformer来系统地学习每个组织图块的模范内和模范间的干系性特征，从辛劳毕对全组织切片图像视觉表征的灵验索要。如图1，ROAM当先对每张全切片图像进行组织分割并从中索要大尺寸的组织图像块（2048×2048）算作后续分析的基本单位。随后，ROAM哄骗多模范示例特征学习模块组织图块的特征，隔离使用模范内自留意力模块（Intra-scale SA）和模范间自留意力模块（inter-scale SA）学习组织图块中疏通放大模范下不同位置以及不同放大模范下归并位置的局部区域之间的干系性特征，哄骗金字塔transformer架构逐渐从高放大倍数到低放大倍数会通多模范特征，取得组织图块的多模范视觉表征。终末哄骗门控留意力机制学习每个组织图块（示例）的留意力权重并加权乞降，取得整张切片的视觉表征。

图1：ROAM模子架构概览

ROAM已毕了胶质瘤的精确会诊

络续东谈主员在里面数据集和TCGA外部数据集上评估了ROAM的分类推崇。ROAM优于包括CLAM、TransMIL、GTP、TEA-graph、H2MIL在内的五种已有容貌，在里面数据集胶质瘤会诊干系的任务上均优于其他基线容貌（图2a）。同期，ROAM也具有雅致的泛化性，仅使用里面数据集进行进修并在外部TCGA数据集上测试，ROAM的总体推崇仍然优于其他基线容貌。此外，ROAM瞻望的可视化后果也标明该容貌转头的会诊依据与临床会诊圭表相称一致。

图2：胶质瘤会诊推崇

ROAM显耀鼓舞了胶质瘤的临床补助会诊

络续团队对ROAM进行了临床级的抽象评估并评估了其在胶质瘤补助会诊中的推崇（如图3），ROAM的临床胶质瘤会诊推崇与高年资病理大夫相称。此外，在ROAM提供的可视化依据的补助作用下，3位中低年资的病理大夫的会诊准确性有了显耀的提高，这体现了ROAM的弘大临床应用价值。

图3：东谈主机起义推崇

ROAM促进了胶质瘤分子模式象征物的发现

络续团队借助ROAM商酌了与胶质瘤会诊干系的缺点分子特征的模式学推崇。后果露出，ROAM在瞻望异柠檬酸脱氢酶（IDH）突变的分子特征任务上推崇优异，络续东谈主员对ROAM在该任务中的瞻望后果进行了完好的可视化分析，并对ROAM蔼然的高留意力缺点区域的组织模式特征进行分析和转头，发现时IDH突变的病理图像中巨额存在嗜酸性细胞增加、细胞质均匀和细胞核深染的步地。这一遑急发现存利于大夫在不借助分子检测的情况下作出初步的IDH气象的瞻望，关于胶质瘤临床会诊圭表和优化和完善有显耀的鼓舞作用。

要而言之，ROAM容貌通过大尺寸图像块和多模范特征学习模块已毕了全切片组织病理图像视觉表征的高效索要，为临床上胶质瘤的病分解诊提供了一种全面、通用、灵验的科罚决策，改日也不错执行到其他类型肿瘤的病分解诊。

清华大学闾海荣副络续员、张学工栽植、中南大学湘雅病院胡贤人栽植为论文通信作家，清华大学江瑞栽植、硕士生尹小旭、中国转移络续院杨鹏帅、湘雅病院程灵超为论文共同第一作家，胡隽、杨娇、王颖、傅晓丹、商利、李丽玲、蔺薇、周欢参与了该络续的数据收集及标注，陈福沨及福州数据工夫络续院提供了在线软件平台的研发撑捏。

论文贯穿：

https://www.nature.com/articles/s42256-024-00868-w