Gids-gekoppelde quiz · Moeilijk Niveau

ChatGPT gebruiken voor differentiële diagnosequiz

Test wat de onderzoeken van Kanjee en Goh hebben gevonden over de GPT-4-diagnose, waarom vignetbenchmarks de nauwkeurigheid aan het bed overschatten en hoe verankering de aanwijzingen beïnvloedt.

Vraag 1 van 8

Hoe vaak was de uiteindelijke diagnose ergens in het differentieel van het model in de test van GPT-4 uit 2023 van Kanjee en collega's op klinisch-pathologische gevallen van NEJM?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Hoe vaak was de uiteindelijke diagnose ergens in het differentieel van het model in de test van GPT-4 uit 2023 van Kanjee en collega's op klinisch-pathologische gevallen van NEJM?
    • Ongeveer 39 procent
    • Ongeveer 64 procent
    • Ongeveer 92 procent
    • Ongeveer 15 procent
  2. Wat was het belangrijkste resultaat van het onderzoek van Goh et al. uit 2024? gerandomiseerd onderzoek?
    • Artsen die GPT-4 kregen, scoorden veel hoger dan artsen zonder
    • GPT-4 alleen presteerde slechter dan welke arts dan ook
    • Door artsen GPT-4 te geven, verbeterden hun scores op diagnostisch redeneren niet significant, hoewel GPT-4 alleen hoger scoorde
    • De proef werd stopgezet vanwege schade aan de patiënt
  3. Waarom kunnen vignetbenchmarks overschatten hoe goed een model het zou doen met echte patiënten?
    • Er verschijnen vignetten waarin de relevante bevindingen al zijn gekozen en opgeschoond, en gepubliceerde gevallen kunnen zich in trainingsgegevens bevinden
    • Vignetten worden altijd in een andere taal geschreven
    • Echte patiënten hebben minder symptomen dan vignetten
    • Modellen kunnen geen casusbeschrijvingen lezen die langer zijn dan een alinea
  4. Een arts vraagt: "Zou dit lupus kunnen zijn?" aan het begin van haar prompt. Welke faalmodus nodigt dit uit?
    • Laboratoriumreferentiebereiken uitgevonden
    • Weigeren medische vragen te beantwoorden
    • De gespreksgeschiedenis kwijtraken
    • Sycophantische verankering in de richting van de diagnose die de gebruiker suggereerde
  5. Waarom is het scoren van 'juiste diagnose ergens in de lijst' een gebrekkige maatstaf?
    • Het beloont lange lijsten, wat aanleiding kan geven tot onnodig testen
    • Het negeert de leeftijd van de patiënt
    • Het werkt alleen voor pediatrische gevallen
    • Het vereist dat het model referenties citeert
  6. Als u twee verschillend geordende lijsten uit vrijwel identieke aanwijzingen haalt, kunt u zien hoe zit het met de rangschikking van het model?
    • Het model is kapot en mag niet worden gebruikt
    • Het tweede antwoord is altijd het juiste
    • De rangschikking is geen gekalibreerde waarschijnlijkheidsschatting en verandert met de formulering
    • Het model zoekt op het live internet
  7. Wat is het grootste privacyprobleem bij het plakken van het patiëntendossier in een consumentenchatbot?
    • De chatbot zal klinische vragen weigeren
    • Het invoeren van identificeerbare informatie zonder een overeenkomst met zakenpartners kan in strijd zijn met de HIPAA
    • Consumentenchatbots kunnen geen laboratoriumwaarden lezen
    • Het factureert automatisch de verzekeraar van de patiënt
  8. Welk promptverzoek helpt een arts het beste om te reageren op het verschil van een model?
    • "Geef mij de enige juiste diagnose"
    • "Bevestig dat mijn diagnose juist is"
    • "Schrijf de ontslagsamenvatting"
    • "Maak een lijst van ondersteunende en tegenstrijdige kenmerken voor elk item en de test die de beste kandidaten het beste van elkaar onderscheidt"