类型a：这篇文档报告了一项原创研究，以下是基于该研究的学术报告。
主要作者与机构及发表信息
这项研究由万佩星（Peixing Wan）、黄子恩（Zigeng Huang）、陈庆宇（Qingyu Chen）和龙二平（Erping Long）等学者共同完成。研究的主要机构包括中国医学科学院基础医学研究所、南方科技大学盐田医院、武汉大学人民医院以及耶鲁大学医学院生物医学信息学与数据科学系。论文发表于《Nature Medicine》期刊，2024年10月刊。
研究背景
本研究属于医疗人工智能领域，旨在探索大型语言模型（Large Language Models, LLMs）在门诊接待中的应用。随着医疗系统中患者需求的增长，护士作为一线工作人员面临巨大的工作压力，导致沟通效率下降和患者体验受损。研究表明，门诊患者的抑郁症状发生率高达27%，而护士的倦怠率也达到了34.2%-57.2%。这些问题促使研究人员寻找一种能够减轻护士负担并提高患者满意度的技术解决方案。LLMs因其接近人类的表现而受到关注，但在医疗场景中的实际部署仍面临知识特异性不足、虚构事实等问题。因此，本研究的目标包括：收集真实世界护士与患者对话的大规模语料库；开发针对特定站点优化的提示工程聊天机器人（SSPEC）；评估SSPEC与人类护士在解决患者问题上的表现；并通过随机对照试验验证护士-SSPEC协作模型的有效性。
研究流程
本研究分为四个主要部分：
数据收集与处理
研究团队从两个医疗中心（武汉和深圳）的10个接待站点收集了38,737分钟的普通话对话音频。这些站点涵盖了普通服务、急诊、内科、外科、妇科和儿科等多个部门。音频被转化为文本，并经过去标识化处理，最终形成了包含35,418个案例的数据库。每个站点的数据量均超过3,000分钟，确保样本具有代表性。此外，研究团队定义了两种“受损体验”——重复问答（Q&Rs）和负面情绪，以评估当前接待系统的不足之处。
知识整理与SSPEC开发
研究团队基于训练集（占总数据的80%）进行了知识整理，共提取了580条独立信息。这些信息被分为通用知识、中心共享知识和站点特定知识三类。SSPEC的开发基于GPT-3.5模型，通过微调和站点特定知识提示模板进行优化。为了减少幻觉和潜在危害，研究团队设计了一个反馈与改进模块，包括关键词匹配、独立LLM评估和自动评估三种方法。
内部验证与消融研究
研究团队使用验证集（占总数据的20%）对SSPEC性能进行了评估。评估标准包括六个维度：事实性、完整性、可读性、同理心、安全性和满意度。同时，研究团队还进行了消融研究，分别测试了去除微调、站点特定知识或两者后的模型表现。此外，SSPEC还与基于专家手册开发的聊天机器人（EPEC）进行了对比。
随机对照试验
在深圳市某医院的普通接待站点，研究团队开展了一项单中心随机对照试验，涉及2,164名患者。参与者被随机分配到护士-SSPEC组或护士组。试验过程中，SSPEC生成的响应通过警报系统进行监控，当检测到不确定性时，护士会介入修改。研究团队记录了患者满意度、重复问答率、负面情绪频率以及响应质量等指标。
主要结果
SSPEC性能评估
内部验证结果显示，SSPEC在两轮内解决了68.0%的患者查询，显著高于护士组的50.5%（p=0.009）。在六个评估维度中，SSPEC在完整性（4.37±0.95 vs. 3.42±1.22，p<0.001）、同理心（4.14±0.98 vs. 3.27±1.22，p<0.001）和可读性（3.86±0.95 vs. 3.71±1.07，p=0.006）等方面表现优于护士。此外，SSPEC在行政查询中表现出更强的同理心支持能力。
消融研究结果
消融研究表明，去除微调或站点特定知识后，SSPEC性能显著下降。例如，去除站点特定知识后，事实性得分从4.18±0.93降至1.98±1.05（p<0.001）。双消融模型在所有六个维度上均表现最差，进一步证明了微调和站点特定知识的重要性。
随机对照试验结果
护士-SSPEC组的患者满意度显著高于护士组（3.91±0.90 vs. 3.39±1.15，p<0.001）。此外，护士-SSPEC组的重复问答率更低（3.2% vs. 14.4%，p<0.001），负面情绪发生率也更低（2.4% vs. 7.8%，p<0.001）。参与试验的护士中有95%认为SSPEC减轻了他们的工作负担，90%认为SSPEC缓解了压力。
结论与意义
本研究表明，SSPEC在门诊接待场景中具有显著优势，能够高效解决患者查询并提供更强的同理心支持。护士-SSPEC协作模型不仅提高了患者满意度，还减轻了护士的工作负担。这项研究为将LLMs整合到日常医疗工作流程提供了可行性范例，有助于改善医患沟通体验。其科学价值在于展示了站点特定知识和微调技术在提升LLMs性能中的关键作用，而其应用价值则体现在缓解医疗资源紧张和提升服务质量方面。
研究亮点
1. 首次利用大规模真实世界对话数据开发站点特定的LLM。
2. 设计了创新的反馈与改进模块，有效减少了幻觉和潜在危害。
3. 护士-SSPEC协作模型在随机对照试验中表现出色，验证了其实际应用潜力。
其他有价值内容
研究团队强调了公平性和伦理问题的重要性，指出未来需要更多元化的数据来源以避免偏见。此外，研究还提出了开发本地LLM的可能性，以更好地满足实际应用场景的需求。