西奈山的一项新研究表明，使用生成人工智能来帮助实现编码自动化存在一些重大局限性。
为什么它很重要
为了 研究，西奈山伊坎医学院评估了大型语言模型在医疗保健中的潜在应用，以基于临床文本自动执行医疗代码分配，以用于报销和研究目的。
该研究比较了 OpenAI、Google 和 Meta 的法学硕士，以评估他们是否能够有效地将正确的医疗代码与其相应的官方文本描述相匹配。
为了评估和基准 GPT-3.5、GPT-4、Gemini Pro 和 Llama2-70b 的性能，研究人员从西奈山卫生系统 12 个月的常规护理中提取了 27,000 多个独特的诊断和程序代码（不包括患者数据）。
“之前的研究表明，较新的大型语言模型难以处理数字任务，”伊坎西奈山数据驱动和数字医学生成人工智能研究项目主任、该研究的高级合著者 Eyal Klang 博士在上周的一份声明中解释道。
“然而，它们从临床文本中分配医疗代码的准确性程度尚未在不同模型中进行彻底调查。”
在评估四种可用模型是否可以通过定性和定量方法有效匹配医疗代码时，研究人员确定所有法学硕士在生成独特诊断和程序代码方面的准确率均低于 50%。
虽然 GPT-4 在研究中表现最好，与 ICD-9-CM 的精确匹配率最高，为 45.9%，ICD-10-CM 为 33.9%，CPT 代码为 49.8%，但仍然存在“无法接受的大”错误。
研究人员表示，GPT-4 生成的代码最不正确，而 GPT-3.5 则最容易模糊，识别出更笼统而不是精确的代码。
研究结果表明， 新英格兰医学杂志人工智能 上周发表的文章导致研究人员警告说，法学硕士在现实世界的医学编码中的表现可能会产生更糟糕的结果。
研究人员在报告中表示：“如果没有额外的研究，法学硕士不适合用于医疗编码任务。”
D3M 和医学助理教授 Ali Soroush 博士在一份声明中警告说：“虽然人工智能拥有巨大潜力，但必须谨慎对待并持续开发，以确保其在医疗保健方面的可靠性和有效性。”
西奈山指出，研究人员将寻求开发定制的法学硕士工具，以实现准确的医疗数据提取和计费代码分配。
更大的趋势
尽管西奈山的研究结果如此，但其他人仍然看到了人工智能编码的价值，并表示 人工智能系统可以帮助医生群体 避免错失收入机会并提高文档合规性。
A.S.博士布鲁斯·科恩 (Bruce Cohen) 是一名外科医生，也是北卡罗来纳州夏洛特 OrthoCarolina 医院的前首席执行官。
“随着年度编码要求的制定，基于人工智能的系统将实时集成和实施这些变化，”北卡罗来纳州夏洛特市 OrthoCarolina 的外科医生兼前首席执行官 Bruce Cohen 博士告诉医疗保健 IT 新闻。
他补充说，基于人工智能的系统并不会消除编码员的工作：“它根据评估和管理编码扩大了每项费用的监督和准确性。”
记录在案
索鲁什在一份关于西奈山研究的声明中断言：“我们的研究结果强调，在医疗编码等敏感操作领域部署人工智能技术之前，迫切需要进行严格的评估和完善。”
查尔斯·布朗夫曼个性化医疗研究所所长兼系统负责人 Girish Nadkarni 博士补充道：“这项研究揭示了人工智能在医疗保健领域当前的能力和挑战，强调在广泛采用之前需要仔细考虑和进一步完善。” D3M。
Andrea Fox 是《医疗保健 IT 新闻》的高级编辑。
电子邮件： [email protected]
医疗保健 IT 新闻是 HIMSS 媒体出版物。
1714523009
2024-04-30 21:07:05
