利用多模态深度学习整合分析了14种癌症的全切片图像和基因图谱数据,该算法通过不同形式来预测好和差的预后效果,基于形态学和分子水平在疾病和患者层面对患者预后效果进行预测,结合肿瘤,基质和免疫细胞在肿瘤微环境中的空间分布来综合考量对患者
近日，来自哈佛医学院布莱根妇女医院的Faisal Mahmood团队在Cancer Cell发表了文章Pan-cancer integrative histology-genomic analysis via multimodal deep learning，利用多模态深度学习整合分析了14种癌症的全切片图像和基因图谱数据，该算法通过不同形式来预测好和差的预后效果，基于形态学和分子水平在疾病和患者层面对患者...
首先作者利用配对的14种癌症的分子数据对多模态深度学习模型(MMF)进行了5倍交叉验证,并和AMIL(仅使用组织学数据)及SNN(仅使用基因组学测序数据)这两种单模态深度学习模型进行了比较,用交叉验证的一致性指数(c-Index)和动态曲线下面积(survival AUC)来评估不同模型的可靠性,并用Kaplan-Meier生存曲线去可视化高低风险...