ToepassingenGIDS
ChatGPT gebruiken voor differentiële diagnose
Grote taalmodellen zoals GPT-4 kunnen plausibele differentiële diagnoselijsten produceren op basis van een casusbeschrijving, en in gepubliceerde onderzoeken bevatten ze vaak de juiste diagnose.
Luister naar deze gidsAI-verteld · ~3 min
Op deze pagina4 minuten lezen
Overzicht
Het zijn geen gevalideerde diagnostische apparaten. Het veiligste gebruik ervan is als een gestructureerde second-opinion-brainstorm die een arts toetst aan de patiënt, en artsen die zowel hun sterke punten als hun faalwijzen begrijpen, halen er het maximale uit.
Diepe duik
Een groot deel van het bewijsmateriaal komt uit casusvignetten. In een JAMA-onderzoeksbrief uit 2023 testten Kanjee en collega's GPT-4 op 70 moeilijke gevallen uit de klinisch-pathologische conferenties van de New England Journal of Medicine. De uiteindelijke diagnose verscheen in ongeveer 64 procent van de gevallen in het differentieel van het model en was in ongeveer 39 procent de topdiagnose. Een gerandomiseerde studie van Goh en collega's, gepubliceerd in JAMA Network Open in 2024, gaf 50 artsen GPT-4 plus gebruikelijke middelen of alleen gebruikelijke middelen voor gestructureerde diagnostische gevallen. Toegang tot GPT-4 verbeterde de diagnostische redeneringsscores van artsen niet significant. GPT-4 die alleen werkten, scoorden echter substantieel hoger dan de artsen die alleen de gebruikelijke middelen gebruikten. Eén interpretatie is dat artsen niet goed wisten hoe ze het instrument moesten gebruiken, of het niet vertrouwden als het het niet met hen eens was. Onderzoekssystemen zoals AMIE van Google zijn ook getest op diagnostische dialoog en differentiële generatie, met sterke resultaten in gecontroleerde onderzoeken. Deze resultaten moeten zorgvuldig worden gelezen. Gepubliceerde casusreeksen kunnen zich in de trainingsgegevens van een model bevinden. Vignetten arriveren al opgeruimd, met de relevante bevindingen gekozen en samengevat, terwijl echte patiënten onvolledige, tegenstrijdige en onuitgesproken informatie brengen. Het scoren van ‘de juiste diagnose ergens in de lijst’ beloont lange lijsten, wat aanleiding kan geven tot extra testen. De algemene misvatting is dat de nauwkeurigheid van de benchmark gelijk is aan de nauwkeurigheid aan het bed. Dat is niet het geval. Bekende faalwijzen zijn onder meer zelfverzekerd maar verkeerd redeneren, verzonnen referenties of laboratoriumdrempels, het verankeren van welke diagnose de gebruiker ook maar geeft, het te zwaar wegen in algemene leerboekpresentaties en het missen van tijdkritische omstandigheden wanneer de beschrijving vitale functies weglaat. Privacy is een apart onderwerp. Het invoeren van identificeerbare patiëntinformatie in een consumentenchatbot zonder een overeenkomst met een zakenpartner kan in strijd zijn met de HIPAA, dus artsen moeten tools gebruiken die hun organisatie heeft goedgekeurd.
Implementatie in de echte wereld
Een ziekenhuismedewerker typt een geanonimiseerde samenvatting van koorts, huiduitslag, eosinofilie en een nieuw anticonvulsivum in de goedgekeurde AI-tool van haar gezondheidszorgsysteem en vraagt om diagnoses die je niet mag missen. DRESS verschijnt op de lijst en ze bekijkt de medicatietijdlijn.
Een bewoner vraagt aan het model welke bevindingen het beste zijn top drie diagnoses voor acute kortademigheid uit elkaar kunnen houden, en gebruikt het antwoord vervolgens om een gericht onderzoek en tests te plannen, en niet om een diagnose te stellen.
Een huisarts die een virusziekte vermoedt, vraagt het model om haar belangrijkste diagnose te betwisten en op te sommen wat ze mogelijk mist. Dit is een bewuste controle op het ankeren.
Een arts krijgt twee verschillende gerangschikte lijsten nadat hij twee keer dezelfde vraag heeft gesteld met iets andere bewoordingen, en beschouwt dat als een teken dat de volgorde van het model geen waarschijnlijkheidsschatting is.
De toekomst van het gebruik van ChatGPT voor differentiële diagnose
Diagnostische AI evolueert van algemene chatbots naar tools die zijn ingebouwd in EPD’s en bewijsplatforms, waar ze gestructureerde gegevens kunnen zien en bronnen kunnen citeren. Dat kan het aantal fouten verminderen, maar het vergroot het risico dat artsen een zelfverzekerde suggestie uitstellen. Het Goh-proces wijst op de open vraag: hoe clinici en modellen moeten samenwerken, en niet alleen hoe nauwkeurig het model alleen is. Prospectieve studies met echte patiënten en echte uitkomsten zijn nog steeds schaars vergeleken met vignetbenchmarks. Totdat er meer zijn, is het verdedigbare standpunt dat deze instrumenten het verschil kunnen vergroten en aanleiding kunnen geven tot heroverweging. De arts is nog steeds eigenaar van de diagnose.
Het in de praktijk brengen
Waarom het ertoe doet
- Bouwkeuzes. Ontwerp op applicatieniveau bepaalt of AI de werkelijke resultaten verbetert.
- Team en workflow. Een goede workflowintegratie zorgt voor productiviteitswinst waar gebruikers op kunnen vertrouwen.
- Risico en veiligheid. Goed gedefinieerde gebruiksscenario's verminderen de veranderingsmoeheid en het implementatierisico.
Pas op voor
- Het automatiseren van een kapot proces kan bestaande problemen versterken.
- Teams kunnen overautomatiseren en het benodigde menselijke oordeel wegnemen.
- De kwaliteit kan afwijken als de resultaten niet voortdurend worden geëvalueerd.
Volgende stappen
- Breng de huidige workflow in kaart en identificeer de stap met de hoogste wrijving.
- Definieer menselijke controlepunten vóór volledige automatisering.
- Train gebruikers op het gebied van prompts, escalatiepaden en kwaliteitsnormen.
- Volg de resultaten op taakniveau om duurzame waarde te bevestigen.
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Take the Using ChatGPT for Differential Diagnosis quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Wat gebruikt ChatGPT voor differentiële diagnose?
Grote taalmodellen zoals GPT-4 kunnen plausibele differentiële diagnoselijsten produceren op basis van een casusbeschrijving, en in gepubliceerde onderzoeken bevatten ze vaak de juiste diagnose. Het zijn geen gevalideerde diagnostische apparaten. Het veiligste gebruik ervan is als een gestructureerde second-opinion-brainstorm die een arts toetst aan de patiënt, en artsen die zowel hun sterke punten als hun faalwijzen begrijpen, halen er het maximale uit.
Hoe vaak was de uiteindelijke diagnose ergens in het differentieel van het model in de test van GPT-4 uit 2023 van Kanjee en collega's op klinisch-pathologische gevallen van NEJM?
De uiteindelijke diagnose stond in ongeveer 64 procent van de gevallen in het differentieel en was in ongeveer 39 procent de hoogste diagnose.
Wat was het belangrijkste resultaat van het onderzoek van Goh et al. uit 2024? gerandomiseerd onderzoek?
Artsen met GPT-4 presteerden niet significant beter dan artsen met gebruikelijke middelen, maar toch scoorde het model alleen al hoger. Dat wijst op de manier waarop mensen de tool gebruiken.
Waarom kunnen vignetbenchmarks overschatten hoe goed een model het zou doen met echte patiënten?
Vooraf georganiseerde bevindingen en mogelijke besmetting van trainingsgegevens maken vignetten gemakkelijker dan rommelige echte ontmoetingen.
Een arts vraagt: "Zou dit lupus kunnen zijn?" aan het begin van haar prompt. Welke faalmodus nodigt dit uit?
Modellen hebben de neiging het eens te zijn met het kader dat ze krijgen, dus een hint naar een diagnose trekt het verschil naar zich toe.
Waarom is het scoren van 'juiste diagnose ergens in de lijst' een gebrekkige maatstaf?
Een langere lijst bevat waarschijnlijk het antwoord, maar lange verschillen kunnen in de praktijk leiden tot extra en onnodige opwerkingen.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd