GPT-4在胸部X光片评估中的潜在应用

信息科学 人工智能 医学 医学影像
人工智能 放射学 数据分析 机器学习 胸部X光片

GPT-4在胸部X光片评估中的潜力：一项回顾性研究

学术背景

近年来，人工智能（AI）在医疗领域，尤其是放射学中的应用日益广泛。AI工具的引入正在改变临床实践，尤其是在影像诊断中。然而，AI工具的广泛采用面临诸多挑战，包括资金不足、信息技术（IT）集成效率低下以及验证不足等问题。此外，医疗专业人员，尤其是放射科医生，普遍缺乏足够的统计学知识，这进一步阻碍了他们对AI工具的深入理解和应用。随着放射学研究越来越依赖于数据驱动技术，放射科医生需要具备批判性评估统计方法及其局限性的能力。

大型语言模型（LLMs），如OpenAI的GPT-4，因其能够理解自然语言、推理和解释复杂信息的能力，逐渐在放射学中得到认可。GPT-4的Advanced Data Analysis（ADA）扩展功能使其能够分析数据、解决数学问题、创建图表、编写和执行代码。然而，GPT-4 ADA在临床和学术放射学中的潜力尚未得到充分探索。本研究旨在验证GPT-4 ADA在无需专门统计和机器学习（ML）专业知识的情况下，是否能够用于各种分析任务，尤其是在胸部X光片的评估中。

论文来源

本论文由Soroosh Tayebi Arasteh博士、Robert Siepmann博士、Marc Huppertz博士、Mahshad Lotfinia硕士、Behrus Puladi博士、Christiane Kuhl博士、Daniel Truhn博士和Sven Nebelung博士共同撰写。作者来自德国亚琛大学医院（University Hospital RWTH Aachen）的诊断与介入放射学系、口腔颌面外科系以及医学信息学研究所。论文于2024年11月发表在《Radiology》期刊上。

研究流程

研究对象与数据

本研究为回顾性研究，使用了2009年1月至2019年12月期间重症监护病房（ICU）患者的床边胸部X光片报告、相关人口统计学数据以及炎症实验室标志物。数据来自亚琛大学医院的本地数据库，共包含45,016名患者的193,566张床边胸部X光片及其报告和实验室值。为了简化分析并避免采样偏差，每名患者仅纳入第一张可用的X光片报告。

研究流程

  1. 数据可视化：GPT-4 ADA被要求绘制胸部X光片使用率随年份的变化图以及实验室值的分布图。
  2. 基本统计分析：GPT-4 ADA被要求根据年龄和性别总结和量化肺部阴影的严重程度。
  3. 高级统计分析：GPT-4 ADA被要求通过二元逻辑回归量化决定肺部阴影发生的变量及其程度。
  4. 机器学习建模：GPT-4 ADA被要求建立两个高级AI模型，分别使用所有可用变量和不使用C反应蛋白（CRP）、白细胞计数或降钙素原的变量来预测肺部阴影的存在。

验证策略

研究团队通过多步骤验证GPT-4 ADA的输出，包括重复性评估、方法学验证、代码质量评估以及重新执行代码。此外，研究团队还进行了头对头比较，将GPT-4 ADA生成的模型与人工开发的参考模型进行比较。

主要结果

数据可视化

GPT-4 ADA成功绘制了胸部X光片使用率随年份的变化图以及实验室值的分布图，视觉上符合科学标准。然而，GPT-4 ADA未在图表中标注趋势线或异常值，且在输出风格和颜色上存在不一致。

基本统计分析

GPT-4 ADA正确总结了肺部阴影的严重程度与年龄和性别的关系，但在处理有序变量时使用了中心趋势度量而非频率计数，且未区分左右肺的阴影。

高级统计分析

GPT-4 ADA通过二元逻辑回归量化了决定肺部阴影发生的变量，提供了每个变量的系数和p值。测试-重测可靠性良好，但与手动参考结果相比存在轻微偏差。GPT-4 ADA在处理缺失值时使用了中位数插补法，但在处理分类变量时存在一些问题。

机器学习建模

GPT-4 ADA成功建立了两个预测模型，分别使用所有可用变量和不使用实验室值的变量。两个模型的AUC值分别为0.76和0.75，准确率分别为72%和72%。在头对头比较中，GPT-4 ADA生成的模型与人工开发的参考模型在AUC和准确率上表现相似，但在敏感性和特异性上存在显著差异。

结论

本研究表明，大型语言模型（如GPT-4 ADA）在放射学中的复杂数据分析中具有潜力，能够从基础统计到高级机器学习建模提供支持。尽管GPT-4 ADA在处理真实临床数据集时表现出色，但在统计复杂性（如数据插补）方面仍面临挑战，需要严格的统计监督。LLMs应作为专业知识的补充，而非替代。

研究亮点

  • 重要发现：GPT-4 ADA能够自主执行复杂的数据分析任务，包括数据可视化、统计分析和机器学习建模，表现与人工开发的模型相当。
  • 方法创新：本研究首次验证了GPT-4 ADA在放射学中的应用潜力，尤其是在无需专门统计和机器学习知识的情况下。
  • 应用价值：GPT-4 ADA的使用可以简化放射科医生、临床医生和研究人员的复杂数据分析流程，促进患者为中心的研究策略。

其他有价值的信息

本研究的局限性包括仅纳入每名患者的第一张X光片报告、未解决提示词对LLM性能的影响、数据插补可能引入偏差等。未来研究需要进一步评估LLM在放射学中的通用性、鲁棒性、可解释性、工作流集成和临床影响。