Τι έγινε
Ένα έγγραφο που υποβλήθηκε στο arXiv στις 25 Αυγούστου παρουσιάζει το MTDiag, ένα σύνολο δεδομένων που έχει σχεδιαστεί για την αξιολόγηση μοντέλων μεγάλων γλωσσών σε διαγνωστικές συνομιλίες πολλαπλών στροφών. Οι συγγραφείς υποστηρίζουν ότι η διάγνωση είναι διαδραστική και σταδιακή, ενώ πολλές υπάρχουσες αξιολογήσεις βασίζονται σε στατικά σημεία αναφοράς απάντησης ερωτήσεων ή σε τυποποιημένους διαλόγους. Η πηγή λέει ότι τα μοντέλα μπορούν να παρουσιάσουν υποβάθμιση της ακρίβειας και της αξιοπιστίας όταν οι αλληλεπιδράσεις εκτείνονται σε πολλές στροφές.
Το MTDiag παρουσιάζεται ως πηγή αξιολόγησης για μια συγκεκριμένη αδυναμία στις δοκιμές ιατρικών γλωσσικών μοντέλων: τη διαφορά μεταξύ της απάντησης σε μια κλινική ερώτηση και της διαχείρισης μιας εξελισσόμενης διαγνωστικής ανταλλαγής. Σε μια συνάντηση πολλαπλών στροφών, ένα σύστημα πρέπει να ενσωματώσει νέα συμπτώματα, να διατηρήσει προηγούμενα δεδομένα, να αναθεωρήσει μια διαφορική διάγνωση και να αποφύγει να γίνει λιγότερο αξιόπιστο καθώς εξελίσσεται η συζήτηση. Ο κεντρικός ισχυρισμός της εργασίας είναι ότι τα τεστ στατικής απάντησης ερωτήσεων δεν μετρούν επαρκώς αυτές τις συμπεριφορές.
Το σύνολο δεδομένων βασίζεται στα DDXPlus, MIMIC-IV και δημοσιευμένες αναφορές περιπτώσεων, δίνοντάς του έναν δηλωμένο συνδυασμό περιπτώσεων του τμήματος έκτακτης ανάγκης και λιγότερο κοινές ή άτυπες καταστάσεις. Η πηγή δεν περιγράφει τον αριθμό των περιπτώσεων, την κατανομή των διαγνώσεων, τους πληθυσμούς ασθενών που αντιπροσωπεύονται ή τα ακριβή κριτήρια συμπερίληψης. Αυτές οι παραλείψεις έχουν σημασία επειδή η χρησιμότητα ενός κλινικού σημείου αναφοράς εξαρτάται εν μέρει από το πόσο ευρέως οι περιπτώσεις του αντιπροσωπεύουν την πρακτική του πραγματικού κόσμου.
Για να γίνει το υλικό συγκρίσιμο μεταξύ των πηγών, οι συγγραφείς λένε ότι κανονικοποιούν τις περιπτώσεις σε ένα κανονικό σχήμα που συνδέεται με αναγνωριστικά έννοιας UMLS και κωδικούς διάγνωσης ICD-10. Στη συνέχεια, χρησιμοποιούν έναν αγωγό δημιουργίας ομιλίας που βασίζεται στο UserLM-8B για να μετατρέψουν τα δομημένα κλινικά στοιχεία σε διάλογο φυσικής γλώσσας. Το έγγραφο λέει ότι το σύνολο δεδομένων που προκύπτει είναι επικυρωμένο από ιατρούς, αλλά η παρεχόμενη πηγή δεν εξηγεί πόσοι γιατροί συμμετείχαν, τι εξέτασαν, πώς επιλύθηκαν οι διαφωνίες ή πώς μετρήθηκε η ποιότητα επικύρωσης.
Το έγγραφο προτείνει επίσης μετρήσεις βασισμένες στην κλινική γνώση για την αξιολόγηση μοντέλων ως διαγνωστικών παραγόντων στη διαφορική διάγνωση πολλαπλών στροφών. Πρόκειται για μια μεθοδολογική επέκταση πέρα από μια ενιαία βαθμολογία ακρίβειας. Ωστόσο, η πηγή που παρέχεται εδώ δεν αναφέρει αποτελέσματα που δείχνουν ότι το MTDiag αλλάζει την κατάταξη μεταξύ των μοντέλων, προβλέπει την κλινική απόδοση ή βελτιώνει τα αποτελέσματα των ασθενών. Περιγράφει μια προσέγγιση αναφοράς και αξιολόγησης, όχι ένα επικυρωμένο κλινικό σύστημα. Στον παρεχόμενο λογαριασμό, αυτά τα στοιχεία περιγράφονται ως μέρη ενός πόρου αξιολόγησης: οι περιπτώσεις πηγών κανονικοποιούνται, τα στοιχεία αποδίδονται ως εκφράσεις και τα μοντέλα αξιολογούνται σε πολλαπλές στροφές με μέτρα που βασίζονται στη γνώση. Ο λογαριασμός δεν καθορίζει την απόδοση αυτών των στοιχείων στην πράξη, πόσο συνεισφέρει το καθένα στην αξιολόγηση ή εάν οι βαθμολογίες που προκύπτουν είναι αξιόπιστες πέρα από τον αναφερόμενο σχεδιασμό.
Γιατί έχει σημασία
Εάν το πλαίσιο των συγγραφέων είναι σωστό, οι ιατρικές αξιολογήσεις τεχνητής νοημοσύνης μπορούν να δώσουν μια ελλιπή εικόνα όταν δοκιμάζουν μόνο μεμονωμένες απαντήσεις. Ένα μοντέλο μπορεί να προσδιορίσει μια διάγνωση σε σύντομο χρονικό διάστημα, αλλά να μην επικαιροποιήσει τη συλλογιστική του όταν φτάνουν νέες πληροφορίες, να χάσει την παρακολούθηση προηγούμενων στοιχείων ή να επικοινωνήσει μια ασταθή διαφορά. Αυτές είναι πρακτικές ανησυχίες για κάθε σύστημα που προορίζεται να υποστηρίξει τους κλινικούς ιατρούς μέσω μιας συνεχούς ανταλλαγής.
Το έργο αντιμετωπίζει ένα επακόλουθο κενό στον τρόπο με τον οποίο οι άνθρωποι μπορούν να ερμηνεύσουν την απόδοση του ιατρικού LLM. Μια υψηλή βαθμολογία σε στατικές ερωτήσεις δεν αποδεικνύει από μόνη της ότι ένα μοντέλο μπορεί να συμμετέχει με ασφάλεια σε μια εξελισσόμενη κλινική αλληλεπίδραση. Η δοκιμή πολλαπλών στροφών δίνει χώρο για να αξιολογηθεί εάν το σύστημα ανταποκρίνεται κατάλληλα σε μεταβαλλόμενες ενδείξεις, κάτι που είναι πιο κοντά στη δομή της διάγνωσης που περιγράφεται από τους συγγραφείς.
Η συμπερίληψη κοινών παρουσιάσεων έκτακτης ανάγκης μαζί με σπάνιες και άτυπες καταστάσεις θα μπορούσε να κάνει ευκολότερη τη διάκριση των αποτυχιών. Ένα σημείο αναφοράς που περιορίζεται σε γνωστές περιπτώσεις μπορεί να υπερεκτιμά την αξιοπιστία, ενώ ένα σημείο αναφοράς που αποτελείται μόνο από ασυνήθιστες περιπτώσεις μπορεί να μην αντικατοπτρίζει τη χρήση ρουτίνας. Ο αναφερόμενος συνδυασμός του MTDiag είναι δυνητικά χρήσιμος επειδή η πραγματική διαγνωστική εργασία περιλαμβάνει τόσο συχνές παρουσιάσεις όσο και περιπτώσεις που δεν ταιριάζουν στην πρώτη προφανή εξήγηση.
Οι προτεινόμενες μετρήσεις θα μπορούσαν επίσης να μετατοπίσουν την προσοχή από την τελική διάγνωση στην ποιότητα της διαγνωστικής διαδικασίας. Η περίληψη δεν κατονομάζει τις μετρήσεις ούτε εξηγεί τους τύπους τους, επομένως η πρακτική τους αξία δεν μπορεί ακόμη να εκτιμηθεί μόνο από αυτήν την πηγή. Κατ' αρχήν, τα μέτρα που βασίζονται στη γνώση θα μπορούσαν να εξετάσουν εάν ένα μοντέλο χρησιμοποιεί κλινικά σχετικά στοιχεία και διατηρεί μια συνεκτική διαφορά, αλλά αυτή η δυνατότητα παραμένει ένας ισχυρισμός του συγγραφέα έως ότου υπάρξουν διαθέσιμα αποτελέσματα και εξωτερικές αξιολογήσεις.
Για ερευνητές και οργανισμούς που αξιολογούν μοντέλα κλινικής γλώσσας, η έκδοση μπορεί να παρέχει μια κοινή μορφή δοκιμής για τη σύγκριση συστημάτων υπό διαδραστικές συνθήκες. Η δημόσια αξία του εξαρτάται από λεπτομέρειες που δεν παρέχονται εδώ: προσβασιμότητα, τεκμηρίωση, προστασία απορρήτου, αδειοδότηση, αναπαραγωγιμότητα και απόδοση του συνόλου δεδομένων σε ιδρύματα και ειδικότητες. Τίποτα στην πηγή δεν αποδεικνύει ότι το MTDiag είναι έτοιμο για κλινική ανάπτυξη ή ότι θα πρέπει να αντικαταστήσει τις προοπτικές μελέτες και την ανθρώπινη επίβλεψη.
Διαδραστικός Μηχανισμός: Πώς λειτουργεί στην πραγματικότητα
Εξερευνήστε την υποκείμενη τεχνολογία πίσω από αυτήν την εξέλιξη διαδραστικά.
Which component of an AI application is the machine-learning model itself?
Τι να παρακολουθήσετε στη συνέχεια
Το επόμενο σημαντικό στοιχείο θα είναι τα αναφερόμενα πειράματα της πλήρους εργασίας, συμπεριλαμβανομένων των μοντέλων που δοκιμάστηκαν, του μεγέθους και της σύνθεσης του συνόλου δεδομένων, των ακριβών μετρήσεων και του μεγέθους οποιασδήποτε υποβάθμισης της απόδοσης σε πολλές στροφές. Θα χρειαστεί ανεξάρτητη αναπαραγωγή για να προσδιοριστεί εάν το σημείο αναφοράς μετρά την κλινικά σημαντική συμπεριφορά αντί για την ευχέρεια ή την εξοικείωση με το υλικό πηγής του.
Παρακολουθήστε εάν το MTDiag παράγει διαφορετικά συμπεράσματα από στατικά σημεία αναφοράς. Τα ισχυρότερα στοιχεία θα έδειχναν ότι τα μοντέλα που έχουν παρόμοια απόδοση σε μεμονωμένες ερωτήσεις αποκλίνουν όταν απαιτείται να ενσωματώσουν πληροφορίες σε όλες τις στροφές και ότι οι προτεινόμενες μετρήσεις εντοπίζουν σημαντικές διαφορές. Η παρεχόμενη πηγή δεν παρέχει αυτές τις συγκρίσεις, επομένως δεν μπορεί να γίνει ακόμη ισχυρισμός σχετικά με την απόδοση ενός συγκεκριμένου μοντέλου.
Dataset provenance and governance will be important. Το MIMIC-IV περιέχει κλινικά δεδομένα, ενώ το έργο χρησιμοποιεί επίσης δημοσιευμένες αναφορές περιστατικών και συνθετικές ή δημιουργημένες δηλώσεις. Το έγγραφο θα πρέπει να διευκρινίζει τις διαδικασίες αποταυτοποίησης, αδειών, αδειοδότησης, μετασχηματισμού και εάν ο παραγόμενος διάλογος διατηρεί τα υποκείμενα κλινικά στοιχεία χωρίς να εισάγει παραπλανητική διατύπωση ή τεχνουργήματα.
Η εξωτερική εγκυρότητα είναι ένα άλλο ανοιχτό ερώτημα. Τα αποτελέσματα μπορεί να διαφέρουν ανάλογα με τη γλώσσα, το σύστημα υγείας, την ειδικότητα, τη ροή εργασιών του κλινικού ιατρού και τον όγκο των πληροφοριών που είναι διαθέσιμες σε κάθε στροφή. Οι σπάνιες περιπτώσεις μπορούν να δοκιμάσουν το διαγνωστικό εύρος, αλλά μπορεί επίσης να είναι δύσκολο να αξιολογηθούν με συνέπεια. Οι ανεξάρτητοι κλινικοί γιατροί θα πρέπει να αξιολογήσουν εάν η δομή του διαλόγου και οι κανόνες βαθμολόγησης αντικατοπτρίζουν πραγματικές συναντήσεις και όχι μια τεχνητή ακολουθία σχεδιασμένη γύρω από το σημείο αναφοράς.
Τέλος, το MTDiag θα πρέπει να αντιμετωπίζεται ως πηγή αξιολόγησης και όχι ως απόδειξη ότι ένα LLM είναι ασφαλές για τη διάγνωση ασθενών. Η πηγή δεν αναφέρει προοπτικές κλινικές δοκιμές, επιπτώσεις στις αποφάσεις των κλινικών ιατρών, αποτελέσματα ασθενών ή διασφαλίσεις έναντι επιβλαβών συστάσεων. Το σημαντικό άγνωστο είναι εάν η απόδοση σε αυτό το σύνολο δεδομένων συσχετίζεται με ασφαλέστερη, πιο αξιόπιστη συμπεριφορά στην πράξη. αυτή η ερώτηση απαιτεί επικύρωση εκτός του σημείου αναφοράς του ίδιου του χαρτιού.