对心脏进行一次常规超声检查（超声心动图）时，需要采集大约10-50个视频（大约3000个图像），以评估心脏解剖和功能。在临床实践中，心脏病专家在解释这3000张图像的时间有限，这些图像还涉及许多其他数据流，如生命体征、其他成像研究（放射成像、磁共振成像、核成像和计算机断层扫描）和其他诊断（例如心电图）。尽管这些众多的数据来源提供了更精确和准确的临床预测的潜力，但与计算机辅助的复杂决策中整合数据所提供的能力相比，人类独立识别超声心动图模式的能力是有限的。因此，使用机器学习等技术来管理如此丰富的数据，并最终为物理学家提供智能计算机辅助，既有必要，也有大量的机会。

未来临床事件的预测是机器学习在医学中的自然应用。几乎所有的医疗决策都依赖于准确的预测。事实上，诊断主要用于帮助预测未来的临床结果以及哪些治疗或干预措施将对这些结果产生积极影响。 通过使用所有可用的图像数据，自动化分析有很大的潜力来增强预测模型的性能。丰富的时空（视频）数据的增加进一步加强了机器学习对超声心动图的潜在益处。本文建立了一种超声心动图视频的深度学习辅助分析提高了全因死亡率的预测。

首先在临床获得的大型超声心动图视频数据库（812278个视频）上交叉验证了DNN模型。独立的模型被训练为单独的视图（例如胸骨旁长轴和心尖四腔视图），并聚合形成一个由单独视图模型的输出组成的特征向量。使用所有超声心动图视频组合预测1年死亡率的性能（受试者操作特征曲线下面积（AUC）=0.83，95%可信区间（CI）（0.83，0.84））高于使用58个超声心动图测量（EDM（AUC=0.75，95%CI（0.74，0.76))，包括相关心血管相关诊断、人口统计学和生命体征（AUC=0.81，95%CI（0.80，0.82））。

用DNN预测超声心动图视频的1年死亡率，使用交叉验证实验中的所有812278个视频重新训练DNN模型，并评估两组新的不同参与者的表现。第一组是一个独立的600名参与者的集合，与1年死亡率结果相平衡（300名患者在超声心动图检查后存活1年，300名患者在1年内死亡）。第二组是一组2404名心力衰竭患者，接受了3384次超声心动图检查。使用这项调查来评估四位心脏病专家的表现，在超声心动图检查后的1年内，心脏病专家被独立地要求确定每个人生存状况。根据心脏病专家的回答，通过对每位患者的积极预测（1年内死亡）的数量进行汇总，构建了一个风险评分。DNN模型的AUC为0.84，95%可信区间（0.81，0.87），而心脏病专家的综合评分的AUC为0.68，95%可信区间（0.64，0.71）。评估了心脏病专家在模型的帮助下是否能提高他们的表现。收集心脏病专家的预测，然后立即展示同一研究以及机器预测得分。在模型预测的帮助下，心脏病专家的AUC总分从0.72,95%CI（0.68,0.76）提高到0.78,95%CI（0.74,0.81），平，心脏病专家正确地改变了10.3%的预测，错误地改变了3.8%的预测。敏感性增加13%，而特异性平均下降不到1%。

本文已经开发了一种方法和架构，用于使用深度神经网络从医学视频中提取与临床相关的预测信息，并随后为此类预测模型的可行性和潜力提供了证据。随着技术的不断进步和可用于训练的电子临床数据集的快速增长，神经网络将通过对重要临床结果（如死亡率）的准确预测来增强未来的医学图像诊断意义。

Ulloa Cerna, A.E., Jing, L., Good, C.W. et al. Deep-learning-assisted analysis of echocardiographic videos improves predictions of all-cause mortality. Nat Biomed Eng(2021). https://doi.org/10.1038/s41551-020-00667-9

Tags： nature BME:超声心动图视频的深度学习辅助分析提高了全因死亡率的预测