Vad hände
Forskare utvärderade en stor språkmodell för abstraktion av kliniska register med hjälp av obearbetade elektroniska journaldata från två inställningar för American College of Cardiology National Cardiovascular Data Registry. Studien organiserade registerfrågor i sex kategorier baserade på tvetydighet och det kliniska resonemang som behövs för att besvara dem.
Uppsatsen, reviderad på arXiv den 25 augusti, rapporterar en pilot- och en valideringsstudie som involverar kliniska registerfrågor från American College of Cardiologys National Cardiovascular Data Registry. I pilotprojektet vid ett akademiskt vårdcentrum identifierade modellen kandidatdatakällor för varje registerfråga. Erfarna abstraktare använde sedan dessa resultat för att definiera frågespecifika dokumentuppsättningar. I valideringsstudien vid ett andra center, med hjälp av ett andra ACC NCDR-register, svarade modellen på frågor från dessa uppsättningar. Denna design fokuserade utvärderingen på att extrahera och tolka information från befintligt medicinskt journalmaterial snarare än på en förenklad, förvald datatabell.
Innan man granskade modellutdata, fastställde två abstraktörer oberoende grundsanningen och tilldelade varje fråga till en av sex kategorier: Medicinering/händelseflagga, binär klinisk närvaro, administrativ, kvantitativ laboratorium/fysiologisk, klinisk tolkning och händelsetiming. Kategorierna ordnades efter den oklarhet och det kliniska resonemang som krävdes för att lösa varje fråga. Tidningen rapporterar 9 430 abstraktorsvar som stämts ihop till 4 715 konsensussvar, inklusive 501 pilotsvar och 4 214 valideringssvar. I pilotprojektet varierade det genomsnittliga antalet kandidatdatakällor från 14,6 för demografi till 89,2 för historik och riskfaktorer, med betydande variation återspeglas i de rapporterade standardavvikelserna.
Vid validering var den mänskliga överenskommelsen mellan bedömare cirka 98 %, enligt studien. LLM:s svar matchade exakt konsensus i 87 % av fallen, klassificerades som partiella matchningar i 2 % och matchade inte i 9 %. Uppsatsen rapporterar en genomsnittlig noggrannhet på frågenivå på 91,5 %, med en standardavvikelse på 13,4 %, över 157 frågor som var och en hade minst 20 svar. Noggrannheten varierade efter tvetydighetskategori, och minskade från 96 % för frågor om medicin/händelseflagga till 62 % för frågor om tidpunkt för händelse. Källan identifierar studien som ett förtryck och namnger inte modellen som utvärderats i abstraktet.
Varför det spelar roll
Resultaten tyder på att genomsnittlig noggrannhet kan dölja viktiga svagheter i sjukvårdens AI. Modellen presterade bäst på relativt direkta medicinerings- och händelseflaggade frågor och sämst när den var tvungen att tolka kliniska sammanhang eller avgöra när en händelse inträffade.
Det centrala fyndet är inte bara att en LLM gjorde fel. Det är att prestationen minskade på ett strukturerat sätt då frågorna blev mer tvetydiga och krävde fler kliniska resonemang. En enda övergripande noggrannhetssiffra på 91,5 % skulle därför kunna ge en ofullständig bild av operativ risk. Ett registerarbetsflöde som innehåller många enkla fält kan verka tillförlitligt samtidigt som det fortfarande presterar dåligt på en mindre uppsättning frågor som kräver att man rekonstruerar sammanhanget, tolkar kliniska bevis eller placerar en händelse i tid.
Kliniska register stödjer forskning, kvalitetsmätning, benchmarking och andra former av sjukvårdsrapportering. Fel i abstraktionen kan påverka kvaliteten på dessa nedströmsposter även när systemet inte gör en diagnos eller behandlingsrekommendation. Det rapporterade gapet mellan cirka 98 % mänsklig överensstämmelse och modellens lägre exakta matchningsfrekvens indikerar att mänsklig granskning fortfarande är viktig för denna uppgift, särskilt där svaret beror på flera dokument eller på att tolka händelseförloppet.
Studien erbjuder också ett praktiskt sätt att utvärdera sjukvårdens språkmodeller: dela upp frågorna efter vilken typ av oklarhet de innehåller, snarare än att behandla alla extraktionsuppgifter som likvärdiga. Det tillvägagångssättet skulle kunna hjälpa organisationer att identifiera vilka områden som är lämpliga för hjälp och vilka som kräver närmare granskning. Källan visar inte att modellen orsakade patientskador, förbättrade registerverksamheten, minskade kostnader eller användes i rutinvård. Dessa resultat förblir oetablerade.
Interaktiv mekanism: hur det faktiskt fungerar
Utforska den underliggande tekniken bakom denna utveckling interaktivt.
Which component of an AI application is the machine-learning model itself?
Vad du ska titta på härnäst
Studien fastställer inte om resultaten generaliserar till andra modeller, sjukhus, medicinska specialiteter, register eller kliniskt beslutsfattande. Fortsatt arbete bör testa bredare inställningar, jämföra modellversioner, undersöka konsekvenserna av partiella fel och bedöma om mänsklig granskning på ett tillförlitligt sätt kan fånga de svåraste misstagen.
En nyckel okänd är hur brett resultaten gäller. Källan beskriver en pilot vid ett akademiskt vårdcenter och validering vid ett andra center med hjälp av ett annat ACC NCDR-register, men den ger inga abstrakta bevis om kommunala sjukhus, andra specialiteter, olika journalsystem eller andra registerdesigner. Den utvärderade modellen är inte heller identifierad i abstraktet. Jämförelser mellan modeller och modellversioner skulle behövas innan man drar slutsatser om LLM-prestanda generellt.
Framtida utvärderingar bör rapportera mer än aggregerad exakt matchning. Viktiga frågor inkluderar om delsvar är kliniskt användbara, vilka typer av misstag som är vanligast, hur ofta fel involverar datum eller motstridiga uppgifter och om granskare kan upptäcka modellfel konsekvent. Studiens resultat på kategorinivå gör Event Timing till ett särskilt viktigt område för uppföljning, men källan anger inte de enskilda frågorna, felexemplen eller svårighetsgraden av de felaktiga svaren.
Det är också okänt om modellens val av kandidatkälla i pilotprojektet påverkade det senare valideringsarbetsflödet eller om liknande prestanda skulle inträffa när dokumentuppsättningar inte kureras av erfarna abstraktare. Ytterligare studier kan testa helt obearbetade register, olika nivåer av mänsklig assistans och framtida övervakning i verkliga registeroperationer. Tills sådana bevis är tillgängliga stödjer resultaten riktad mänsklig tillsyn för tvetydiga abstraktionsuppgifter snarare än en slutsats att LLM:er är redo att ersätta kliniska abstraktorer. Källan lämnar därför öppet hur samma tillvägagångssätt skulle fungera när dokumentval inte styrs av erfarna abstraktare, när poster innehåller olika nivåer av struktur eller när granskare går in i processen vid olika punkter.