Gids-gekoppelde quiz · Moeilijk Niveau
ChatGPT gebruiken voor differentiële diagnosequiz
Test wat de onderzoeken van Kanjee en Goh hebben gevonden over de GPT-4-diagnose, waarom vignetbenchmarks de nauwkeurigheid aan het bed overschatten en hoe verankering de aanwijzingen beïnvloedt.
Vraag 1 van 8
Hoe vaak was de uiteindelijke diagnose ergens in het differentieel van het model in de test van GPT-4 uit 2023 van Kanjee en collega's op klinisch-pathologische gevallen van NEJM?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Hoe vaak was de uiteindelijke diagnose ergens in het differentieel van het model in de test van GPT-4 uit 2023 van Kanjee en collega's op klinisch-pathologische gevallen van NEJM?
- Ongeveer 39 procent
- Ongeveer 64 procent
- Ongeveer 92 procent
- Ongeveer 15 procent
- Wat was het belangrijkste resultaat van het onderzoek van Goh et al. uit 2024? gerandomiseerd onderzoek?
- Artsen die GPT-4 kregen, scoorden veel hoger dan artsen zonder
- GPT-4 alleen presteerde slechter dan welke arts dan ook
- Door artsen GPT-4 te geven, verbeterden hun scores op diagnostisch redeneren niet significant, hoewel GPT-4 alleen hoger scoorde
- De proef werd stopgezet vanwege schade aan de patiënt
- Waarom kunnen vignetbenchmarks overschatten hoe goed een model het zou doen met echte patiënten?
- Er verschijnen vignetten waarin de relevante bevindingen al zijn gekozen en opgeschoond, en gepubliceerde gevallen kunnen zich in trainingsgegevens bevinden
- Vignetten worden altijd in een andere taal geschreven
- Echte patiënten hebben minder symptomen dan vignetten
- Modellen kunnen geen casusbeschrijvingen lezen die langer zijn dan een alinea
- Een arts vraagt: "Zou dit lupus kunnen zijn?" aan het begin van haar prompt. Welke faalmodus nodigt dit uit?
- Laboratoriumreferentiebereiken uitgevonden
- Weigeren medische vragen te beantwoorden
- De gespreksgeschiedenis kwijtraken
- Sycophantische verankering in de richting van de diagnose die de gebruiker suggereerde
- Waarom is het scoren van 'juiste diagnose ergens in de lijst' een gebrekkige maatstaf?
- Het beloont lange lijsten, wat aanleiding kan geven tot onnodig testen
- Het negeert de leeftijd van de patiënt
- Het werkt alleen voor pediatrische gevallen
- Het vereist dat het model referenties citeert
- Als u twee verschillend geordende lijsten uit vrijwel identieke aanwijzingen haalt, kunt u zien hoe zit het met de rangschikking van het model?
- Het model is kapot en mag niet worden gebruikt
- Het tweede antwoord is altijd het juiste
- De rangschikking is geen gekalibreerde waarschijnlijkheidsschatting en verandert met de formulering
- Het model zoekt op het live internet
- Wat is het grootste privacyprobleem bij het plakken van het patiëntendossier in een consumentenchatbot?
- De chatbot zal klinische vragen weigeren
- Het invoeren van identificeerbare informatie zonder een overeenkomst met zakenpartners kan in strijd zijn met de HIPAA
- Consumentenchatbots kunnen geen laboratoriumwaarden lezen
- Het factureert automatisch de verzekeraar van de patiënt
- Welk promptverzoek helpt een arts het beste om te reageren op het verschil van een model?
- "Geef mij de enige juiste diagnose"
- "Bevestig dat mijn diagnose juist is"
- "Schrijf de ontslagsamenvatting"
- "Maak een lijst van ondersteunende en tegenstrijdige kenmerken voor elk item en de test die de beste kandidaten het beste van elkaar onderscheidt"