GUIDA alle applicazioni

Utilizzo di ChatGPT per la diagnosi differenziale

Modelli linguistici di grandi dimensioni come GPT-4 possono produrre elenchi di diagnosi differenziali plausibili dalla descrizione di un caso e negli studi pubblicati spesso includono la diagnosi corretta.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro dell'utilizzo di ChatGPT per la diagnosi differenziale
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Non sono dispositivi diagnostici validati. Il loro utilizzo più sicuro è come un brainstorming strutturato di seconda opinione che un medico confronta con il paziente e i medici che ne comprendono sia i punti di forza che le modalità di fallimento ne ottengono il massimo.

Immersione profonda

Gran parte delle prove provengono da vignette di casi. In una lettera di ricerca JAMA del 2023, Kanjee e colleghi hanno testato GPT-4 su 70 casi difficili delle conferenze clinicopatologiche del New England Journal of Medicine. La diagnosi finale è apparsa nel differenziale del modello in circa il 64% dei casi ed è stata la diagnosi principale in circa il 39%. Uno studio randomizzato di Goh e colleghi, pubblicato su JAMA Network Open nel 2024, ha fornito a 50 medici GPT-4 più le solite risorse o solo le solite risorse per casi diagnostici strutturati. L'accesso a GPT-4 non ha migliorato significativamente i punteggi del ragionamento diagnostico dei medici. GPT-4 che lavorava da solo, tuttavia, ha ottenuto punteggi sostanzialmente più alti rispetto ai medici che hanno utilizzato solo le risorse abituali. Un'interpretazione è che i medici non sapevano come utilizzare bene lo strumento o non si fidavano di esso quando non era d'accordo con loro. Sistemi di ricerca come AMIE di Google sono stati testati anche sul dialogo diagnostico e sulla generazione differenziale, con ottimi risultati in studi controllati. Questi risultati necessitano di un’attenta lettura. Le serie di casi pubblicate potrebbero trovarsi nei dati di training di un modello. Le vignette arrivano già ripulite, con i risultati rilevanti scelti e riassunti, mentre i pazienti reali portano informazioni incomplete, contraddittorie e non dichiarate. Il punteggio "diagnosi corretta da qualche parte nell'elenco" premia elenchi lunghi, che possono richiedere test aggiuntivi. L’idea sbagliata comune è che l’accuratezza del benchmark equivalga all’accuratezza del posto letto. Non è così. Le modalità di fallimento note includono ragionamenti fiduciosi ma sbagliati, riferimenti inventati o soglie di laboratorio, ancoraggio a qualsiasi diagnosi a cui l'utente accenna, ponderazione eccessiva delle presentazioni comuni dei libri di testo e mancanza di condizioni critiche in termini di tempo quando la descrizione tralascia i segni vitali. La privacy è una questione separata. L'inserimento di informazioni identificabili sul paziente in un chatbot di consumo senza un contratto di società in affari può violare l'HIPAA, pertanto i medici dovrebbero utilizzare gli strumenti approvati dalla loro organizzazione.

Implementazione nel mondo reale

Un ospedaliero digita un riepilogo anonimo di febbre, eruzione cutanea, eosinofilia e un nuovo anticonvulsivante nello strumento di intelligenza artificiale approvato dal suo sistema sanitario e richiede diagnosi imperdibili. DRESS appare nell'elenco e lei esamina la sequenza temporale dei farmaci.

Un residente chiede al modello quali risultati distinguerebbero meglio le sue tre principali diagnosi di dispnea acuta, quindi utilizza la risposta per pianificare un esame e test mirati, non per stabilire una diagnosi.

Un medico di base che sospetta una malattia virale chiede alla modella di argomentare contro la sua diagnosi principale ed elencare cosa potrebbe perdere. Questo è un controllo deliberato sull'ancoraggio.

Un medico ottiene due elenchi diversi dopo aver posto la stessa domanda due volte con una formulazione leggermente diversa e lo considera un segno che l'ordinamento del modello non è una stima della probabilità.

Il futuro dell'utilizzo di ChatGPT per la diagnosi differenziale

L’intelligenza artificiale diagnostica si sta spostando da chatbot generali verso strumenti integrati nelle cartelle cliniche elettroniche e nelle piattaforme di prova, dove possono vedere dati strutturati e citare fonti. Ciò potrebbe ridurre alcuni errori, ma aggiunge il rischio che i medici si rimandino a un suggerimento fiducioso. Il processo Goh mette in luce la questione aperta: come i medici e i modelli dovrebbero lavorare insieme, non solo quanto sia accurato il modello da solo. Gli studi prospettici con pazienti reali e risultati reali sono ancora scarsi rispetto ai benchmark vignette. Finché non ne esisteranno altri, la posizione difendibile è che questi strumenti possono ampliare il differenziale e sollecitare una riconsiderazione. Il clinico possiede ancora la diagnosi.

Metterlo in pratica

Perché è importante

  • Scelte di build. La progettazione a livello di applicazione determina se l’intelligenza artificiale migliora i risultati reali.
  • Team e flusso di lavoro. Una buona integrazione del flusso di lavoro crea guadagni di produttività di cui gli utenti possono fidarsi.
  • Rischio e sicurezza. I casi d'uso ben definiti riducono l'affaticamento dovuto al cambiamento e il rischio di implementazione.

Attenzione

  • Automatizzare un processo interrotto può amplificare i problemi esistenti.
  • I team potrebbero automatizzare eccessivamente e rimuovere il necessario giudizio umano.
  • La qualità può variare se i risultati non vengono valutati continuamente.

Prossimi passi

  1. Mappa il flusso di lavoro corrente e identifica la fase di maggiore attrito.
  2. Definisci checkpoint umani prima dell'automazione completa.
  3. Formare gli utenti su prompt, percorsi di escalation e standard di qualità.
  4. Tieni traccia dei risultati a livello di attività per confermare il valore duraturo.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Using ChatGPT for Differential Diagnosis quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cosa si utilizza ChatGPT per la diagnosi differenziale?

Modelli linguistici di grandi dimensioni come GPT-4 possono produrre elenchi di diagnosi differenziali plausibili dalla descrizione di un caso e negli studi pubblicati spesso includono la diagnosi corretta. Non sono dispositivi diagnostici validati. Il loro utilizzo più sicuro è come un brainstorming strutturato di seconda opinione che un medico confronta con il paziente e i medici che ne comprendono sia i punti di forza che le modalità di fallimento ne ottengono il massimo.

Nel test del 2023 di Kanjee e colleghi di GPT-4 su casi clinicopatologici NEJM, quanto spesso è stata la diagnosi finale in qualsiasi punto del differenziale del modello?

La diagnosi finale era differenziale in circa il 64% dei casi ed era la diagnosi migliore in circa il 39%.

Qual è stato il risultato principale dello studio Goh et al. studio randomizzato?

I medici con GPT-4 non hanno sovraperformato significativamente i medici con risorse abituali, ma il modello da solo ha ottenuto punteggi più alti. Ciò indica il modo in cui le persone utilizzano lo strumento.

Perché i parametri di riferimento delle vignette possono sopravvalutare il rendimento di un modello con pazienti reali?

I risultati pre-organizzati e la possibile contaminazione dei dati di formazione rendono entrambi le vignette più facili rispetto agli incontri reali e disordinati.

A clinician asks, "Could this be lupus?" at the start of her prompt. Which failure mode does this invite?

Models tend to agree with the framing they are given, so hinting at a diagnosis pulls the differential toward it.

Why is scoring "correct diagnosis anywhere in the list" a flawed measure?

A longer list is more likely to contain the answer, but long differentials in practice can lead to extra and unnecessary workups.