ToepassingenGIDS

ChatGPT gebruiken voor differentiële diagnose

Grote taalmodellen zoals GPT-4 kunnen plausibele differentiële diagnoselijsten produceren op basis van een casusbeschrijving, en in gepubliceerde onderzoeken bevatten ze vaak de juiste diagnose.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van het gebruik van ChatGPT voor differentiële diagnose
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het zijn geen gevalideerde diagnostische apparaten. Het veiligste gebruik ervan is als een gestructureerde second-opinion-brainstorm die een arts toetst aan de patiënt, en artsen die zowel hun sterke punten als hun faalwijzen begrijpen, halen er het maximale uit.

Diepe duik

Een groot deel van het bewijsmateriaal komt uit casusvignetten. In een JAMA-onderzoeksbrief uit 2023 testten Kanjee en collega's GPT-4 op 70 moeilijke gevallen uit de klinisch-pathologische conferenties van de New England Journal of Medicine. De uiteindelijke diagnose verscheen in ongeveer 64 procent van de gevallen in het differentieel van het model en was in ongeveer 39 procent de topdiagnose. Een gerandomiseerde studie van Goh en collega's, gepubliceerd in JAMA Network Open in 2024, gaf 50 artsen GPT-4 plus gebruikelijke middelen of alleen gebruikelijke middelen voor gestructureerde diagnostische gevallen. Toegang tot GPT-4 verbeterde de diagnostische redeneringsscores van artsen niet significant. GPT-4 die alleen werkten, scoorden echter substantieel hoger dan de artsen die alleen de gebruikelijke middelen gebruikten. Eén interpretatie is dat artsen niet goed wisten hoe ze het instrument moesten gebruiken, of het niet vertrouwden als het het niet met hen eens was. Onderzoekssystemen zoals AMIE van Google zijn ook getest op diagnostische dialoog en differentiële generatie, met sterke resultaten in gecontroleerde onderzoeken. Deze resultaten moeten zorgvuldig worden gelezen. Gepubliceerde casusreeksen kunnen zich in de trainingsgegevens van een model bevinden. Vignetten arriveren al opgeruimd, met de relevante bevindingen gekozen en samengevat, terwijl echte patiënten onvolledige, tegenstrijdige en onuitgesproken informatie brengen. Het scoren van ‘de juiste diagnose ergens in de lijst’ beloont lange lijsten, wat aanleiding kan geven tot extra testen. De algemene misvatting is dat de nauwkeurigheid van de benchmark gelijk is aan de nauwkeurigheid aan het bed. Dat is niet het geval. Bekende faalwijzen zijn onder meer zelfverzekerd maar verkeerd redeneren, verzonnen referenties of laboratoriumdrempels, het verankeren van welke diagnose de gebruiker ook maar geeft, het te zwaar wegen in algemene leerboekpresentaties en het missen van tijdkritische omstandigheden wanneer de beschrijving vitale functies weglaat. Privacy is een apart onderwerp. Het invoeren van identificeerbare patiëntinformatie in een consumentenchatbot zonder een overeenkomst met een zakenpartner kan in strijd zijn met de HIPAA, dus artsen moeten tools gebruiken die hun organisatie heeft goedgekeurd.

Implementatie in de echte wereld

Een ziekenhuismedewerker typt een geanonimiseerde samenvatting van koorts, huiduitslag, eosinofilie en een nieuw anticonvulsivum in de goedgekeurde AI-tool van haar gezondheidszorgsysteem en vraagt ​​om diagnoses die je niet mag missen. DRESS verschijnt op de lijst en ze bekijkt de medicatietijdlijn.

Een bewoner vraagt ​​aan het model welke bevindingen het beste zijn top drie diagnoses voor acute kortademigheid uit elkaar kunnen houden, en gebruikt het antwoord vervolgens om een ​​gericht onderzoek en tests te plannen, en niet om een ​​diagnose te stellen.

Een huisarts die een virusziekte vermoedt, vraagt ​​het model om haar belangrijkste diagnose te betwisten en op te sommen wat ze mogelijk mist. Dit is een bewuste controle op het ankeren.

Een arts krijgt twee verschillende gerangschikte lijsten nadat hij twee keer dezelfde vraag heeft gesteld met iets andere bewoordingen, en beschouwt dat als een teken dat de volgorde van het model geen waarschijnlijkheidsschatting is.

De toekomst van het gebruik van ChatGPT voor differentiële diagnose

Diagnostische AI ​​evolueert van algemene chatbots naar tools die zijn ingebouwd in EPD’s en bewijsplatforms, waar ze gestructureerde gegevens kunnen zien en bronnen kunnen citeren. Dat kan het aantal fouten verminderen, maar het vergroot het risico dat artsen een zelfverzekerde suggestie uitstellen. Het Goh-proces wijst op de open vraag: hoe clinici en modellen moeten samenwerken, en niet alleen hoe nauwkeurig het model alleen is. Prospectieve studies met echte patiënten en echte uitkomsten zijn nog steeds schaars vergeleken met vignetbenchmarks. Totdat er meer zijn, is het verdedigbare standpunt dat deze instrumenten het verschil kunnen vergroten en aanleiding kunnen geven tot heroverweging. De arts is nog steeds eigenaar van de diagnose.

Het in de praktijk brengen

Waarom het ertoe doet

  • Bouwkeuzes. Ontwerp op applicatieniveau bepaalt of AI de werkelijke resultaten verbetert.
  • Team en workflow. Een goede workflowintegratie zorgt voor productiviteitswinst waar gebruikers op kunnen vertrouwen.
  • Risico en veiligheid. Goed gedefinieerde gebruiksscenario's verminderen de veranderingsmoeheid en het implementatierisico.

Pas op voor

  • Het automatiseren van een kapot proces kan bestaande problemen versterken.
  • Teams kunnen overautomatiseren en het benodigde menselijke oordeel wegnemen.
  • De kwaliteit kan afwijken als de resultaten niet voortdurend worden geëvalueerd.

Volgende stappen

  1. Breng de huidige workflow in kaart en identificeer de stap met de hoogste wrijving.
  2. Definieer menselijke controlepunten vóór volledige automatisering.
  3. Train gebruikers op het gebied van prompts, escalatiepaden en kwaliteitsnormen.
  4. Volg de resultaten op taakniveau om duurzame waarde te bevestigen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Using ChatGPT for Differential Diagnosis quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat gebruikt ChatGPT voor differentiële diagnose?

Grote taalmodellen zoals GPT-4 kunnen plausibele differentiële diagnoselijsten produceren op basis van een casusbeschrijving, en in gepubliceerde onderzoeken bevatten ze vaak de juiste diagnose. Het zijn geen gevalideerde diagnostische apparaten. Het veiligste gebruik ervan is als een gestructureerde second-opinion-brainstorm die een arts toetst aan de patiënt, en artsen die zowel hun sterke punten als hun faalwijzen begrijpen, halen er het maximale uit.

Hoe vaak was de uiteindelijke diagnose ergens in het differentieel van het model in de test van GPT-4 uit 2023 van Kanjee en collega's op klinisch-pathologische gevallen van NEJM?

De uiteindelijke diagnose stond in ongeveer 64 procent van de gevallen in het differentieel en was in ongeveer 39 procent de hoogste diagnose.

Wat was het belangrijkste resultaat van het onderzoek van Goh et al. uit 2024? gerandomiseerd onderzoek?

Artsen met GPT-4 presteerden niet significant beter dan artsen met gebruikelijke middelen, maar toch scoorde het model alleen al hoger. Dat wijst op de manier waarop mensen de tool gebruiken.

Waarom kunnen vignetbenchmarks overschatten hoe goed een model het zou doen met echte patiënten?

Vooraf georganiseerde bevindingen en mogelijke besmetting van trainingsgegevens maken vignetten gemakkelijker dan rommelige echte ontmoetingen.

Een arts vraagt: "Zou dit lupus kunnen zijn?" aan het begin van haar prompt. Welke faalmodus nodigt dit uit?

Modellen hebben de neiging het eens te zijn met het kader dat ze krijgen, dus een hint naar een diagnose trekt het verschil naar zich toe.

Waarom is het scoren van 'juiste diagnose ergens in de lijst' een gebrekkige maatstaf?

Een langere lijst bevat waarschijnlijk het antwoord, maar lange verschillen kunnen in de praktijk leiden tot extra en onnodige opwerkingen.