Η Apple Paper προτείνει φθηνότερη μη μάθηση μηχανών παραλείποντας δεδομένα χαμηλής επιρροής

Τι έγινε

Η Apple Machine Learning Research δημοσίευσε μια εργασία, η οποία περιλαμβάνεται στις περιοχές Privacy and Data Science και Annotation, προτείνοντας ότι η μη εκμάθηση μηχανής παρακάμπτει τα σημεία εκπαίδευσης των οποίων η μετρημένη επίδραση στις εξόδους του μοντέλου είναι αμελητέα, τα οποία οι συγγραφείς αναφέρουν ότι μειώνει τον υπολογισμό unlearning έως και 50% στα παραδείγματά τους.

Η Apple Machine Learning Research δημοσίευσε μια εργασία με τίτλο "When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs", που πιστώνεται στους Udi Wieder, Vitaly Feldman, Robert Fisher και Anat Kleiman. Η σελίδα δημοσίευσης καταχωρεί την εργασία σε δύο ερευνητικούς τομείς, την Επιστήμη της ιδιωτικής ζωής και τα δεδομένα και τον σχολιασμό, και την χαρακτηρίζει ως έγγραφο. Το θέμα είναι η μηχανική απομάθηση: το πρόβλημα της αφαίρεσης της επίδρασης συγκεκριμένων παραδειγμάτων εκπαίδευσης από ένα μοντέλο που έχει ήδη εκπαιδευτεί, συνήθως επειδή ένα άτομο έχει ζητήσει τη διαγραφή των δεδομένων του ή επειδή το απαιτεί μια υποχρέωση απορρήτου. Η σελίδα σημειώνει ότι ο Kleiman είναι συνδεδεμένος με το Χάρβαρντ και ότι η δουλειά έγινε ενώ ήταν στην Apple.

Το επιχείρημα της δημοσίευσης, όπως συνοψίζεται στην περίληψη στον ιστότοπο της Apple, είναι ότι οι υπάρχουσες μέθοδοι μη μάθησης αντιμετωπίζουν κάθε σημείο σε ένα "σύνολο ξεχασμού" - τη συλλογή παραδειγμάτων που πρέπει να αφαιρεθούν - ως εξίσου σημαντικό και ότι αυτή η υπόθεση είναι σπάταλη. Οι συγγραφείς λένε ότι συνέκριναν τις λειτουργίες επιρροής μεταξύ των εργασιών γλώσσας και όρασης. Οι συναρτήσεις επιρροής είναι μια καθιερωμένη τεχνική για την εκτίμηση του πόσο ένα μεμονωμένο παράδειγμα εκπαίδευσης άλλαξε τις παραμέτρους ή τις προβλέψεις ενός μοντέλου. Με βάση αυτή τη σύγκριση, οι συγγραφείς αναφέρουν τον εντοπισμό υποσυνόλων δεδομένων εκπαίδευσης των οποίων ο αντίκτυπος στα αποτελέσματα του μοντέλου είναι αμελητέος και προτείνουν ένα πλαίσιο που συρρικνώνει το σύνολο δεδομένων πριν από την εκτέλεση μιας διαδικασίας unlearning.

Ο αριθμός της επικεφαλίδας είναι δικός της εφημερίδας: "σημαντική υπολογιστική εξοικονόμηση (έως περίπου 50 τοις εκατό) σε εμπειρικά παραδείγματα του πραγματικού κόσμου." Αυτός ο ισχυρισμός, και ο ισχυρισμός ότι τα υποσύνολα με αμελητέο αντίκτυπο μπορούν να αναγνωριστούν αξιόπιστα, προέρχονται από τους συγγραφείς, όπως συνοψίζεται στη σελίδα της Apple. Δεν επαληθεύονται ανεξάρτητα εδώ. Η περίληψη δεν ονομάζει τα μοντέλα, τα σύνολα δεδομένων ή τους αλγόριθμους απομάθησης βασικής γραμμής που χρησιμοποιούνται. δεν δηλώνει πόσο «αμελητέος» ο αντίκτυπος ορίζεται ή οριοθετείται· και δεν περιγράφει τις μετρήσεις που χρησιμοποιούνται για να κριθεί εάν η απομάθηση πέτυχε. Η λέξη "δωρεάν" στον τίτλο αναφέρεται στο υπολογιστικό κόστος και όχι σε οποιαδήποτε αξίωση για εγγυήσεις απορρήτου.

Αρκετές λεπτομέρειες είναι απλώς άγνωστες από την πηγή. Η σελίδα περιέχει έναν μήνα δημοσίευσης τον Αύγουστο του 2026, ενώ μια σχετική καταχώριση αναγνώσεων με τον ίδιο τίτλο στην ίδια σελίδα έχει ημερομηνία 17 Ιουλίου 2026. η σελίδα δεν εξηγεί τις δύο ημερομηνίες. Δεν υπάρχει ορατή ένδειξη τόπου διεξαγωγής αξιολόγησης από ομοτίμους ή αποδοχής συνεδρίου, δεν υπάρχει σύνδεσμος προς τον κώδικα που κυκλοφόρησε, τα βάρη μοντέλων ή τα τεχνουργήματα αξιολόγησης στη σελίδα και δεν υπάρχει δήλωση σχετικά με το εάν η Apple χρησιμοποιεί αυτήν την προσέγγιση σε οποιοδήποτε προϊόν αποστολής ή εσωτερική διοχέτευση δεδομένων. Η περίληψη δεν εξετάζει επίσης το υπολογιστικό κόστος της εκτίμησης της επιρροής, το οποίο για μεγάλα μοντέλα είναι από μόνο του ένα σημαντικό κόστος και το οποίο θα πρέπει να συνυπολογιστεί έναντι τυχόν αναφερόμενων εξοικονομήσεων.

Στοιχεία πηγής: machinelearning.apple.com ↗

Γιατί έχει σημασία

Η τήρηση αιτημάτων διαγραφής δεδομένων σε εκπαιδευμένα μοντέλα είναι δαπανηρή και το έγγραφο επαναπλαισιώνει την απομάθηση από ένα ομοιόμορφο κόστος ανά σημείο σε ένα πρόβλημα διαλογής — αλλά η διαλογή βάσει αποτελεσμάτων είναι ένα επιχείρημα αποτελεσματικότητας, όχι μια καθιερωμένη νομική εγγύηση ή εγγύηση ασφάλειας.

Η διαγραφή δεδομένων έχει γίνει ένα πρόβλημα επιχειρησιακής μηχανικής και όχι καθαρά νομικό. Όταν ένας χρήστης αποσύρει τη συγκατάθεσή του ή ασκεί το δικαίωμα διαγραφής, η αφαίρεση σειρών από μια βάση δεδομένων είναι απλή. αφαιρώντας αυτό που ένα εκπαιδευμένο μοντέλο απορροφά από αυτές τις σειρές δεν είναι. Η αξιόπιστη επιλογή είναι η επανεκπαίδευση χωρίς τα δεδομένα, η οποία είναι αρκετά δαπανηρή ώστε οι οργανισμοί τείνουν να την ενσωματώνουν σε περιοδικούς κύκλους επανεκπαίδευσης. Οι κατά προσέγγιση μέθοδοι απομάθησης υπόσχονται κάτι πιο γρήγορο, αλλά είναι πιο δύσκολο να επαληθευτούν. Η εργασία που μειώνει το κόστος της λειτουργίας εξαρτάται άμεσα από το εάν τα αιτήματα διαγραφής μπορούν να ικανοποιηθούν τακτικά και έγκαιρα ή αν θα παραμείνουν στην ουρά μέχρι την επόμενη εκτέλεση εκπαίδευσης.

Η εννοιολογική κίνηση σε αυτό το έγγραφο είναι αναμφισβήτητα πιο συνεπακόλουθη από τον αριθμό της αποτελεσματικότητας. Εάν ένα συγκεκριμένο παράδειγμα αποδεδειγμένα δεν άφησε μετρήσιμο ίχνος στη συμπεριφορά ενός μοντέλου, τότε μπορεί να μην υπάρχει τίποτα να αναιρέσετε για αυτό το παράδειγμα. Αυτό μετατρέπει την απομάθηση από ένα ομοιόμορφο κόστος ανά σημείο σε άσκηση διαλογής: πρώτα μετρήστε και μετά υπολογίστε ξοδέψτε μόνο εκεί που μπορεί να αλλάξει τη συμπεριφορά του μοντέλου. Για τις ομάδες που χειρίζονται αιτήματα διαγραφής σε όγκο, ένα μεταβλητό κόστος που κλιμακώνεται με το πόσα δεδομένα έχουν πραγματικά σημασία είναι ένα διαφορετικό πρόβλημα προγραμματισμού από ένα σταθερό κόστος που κλιμακώνεται με τον αριθμό των αιτημάτων που φτάνουν.

Ο σημαντικός περιορισμός είναι ότι οι υποχρεώσεις απορρήτου γενικά γράφονται γύρω από το αίτημα και όχι γύρω από το μετρούμενο αποτέλεσμα. Ένας ρυθμιστής ή ένα επηρεαζόμενο άτομο μπορεί να μην αποδεχτεί το "το μοντέλο μόλις το έμαθε" ως απόδειξη ότι έχει εκπληρωθεί μια υποχρέωση διαγραφής, ιδιαίτερα επειδή οι εκτιμήσεις επιρροής είναι προσεγγίσεις των οποίων η ακρίβεια ποικίλλει ανάλογα με το μοντέλο, τη διαδικασία εκπαίδευσης και τη μέθοδο προσέγγισης που χρησιμοποιείται. Η εργασία, με βάση τα στοιχεία της περίληψής της, πλαισιώνει τη συμβολή της ως υπολογιστική εξοικονόμηση. δεν ισχυρίζεται ότι η παράλειψη σημείων χαμηλής επιρροής ικανοποιεί κάποιον συγκεκριμένο νόμο, και αυτή η κάλυψη δεν πρέπει να θεωρηθεί ότι λέγεται ότι ικανοποιεί.

Υπάρχει επίσης μια διάσταση ασφαλείας που η περίληψη αφήνει ανοιχτή. Εάν ένα σημείο ταξινομηθεί εσφαλμένα ως χαμηλής επιρροής και αφεθεί στη θέση του, το πρακτικό ερώτημα είναι εάν αυτό το σημείο παραμένει ανακτήσιμο — μέσω συμπερασμάτων μέλους, που ελέγχει εάν ένα συγκεκριμένο ρεκόρ ήταν στο σετ εκπαίδευσης ή μέσω άμεσης εξαγωγής απομνημονευμένου κειμένου. Η απομνημόνευση σε μεγάλα μοντέλα είναι γνωστό ότι δεν είναι ομοιόμορφη, με σπάνιες ή ακραίες εγγραφές συχνά πιο εκτεθειμένες από τις τυπικές, που είναι ακριβώς ο πληθυσμός όπου μια εκτίμηση επιρροής είναι πιο πιθανό να είναι αβέβαιη. Η περίληψη δεν αναφέρει εάν οι συγγραφείς αξιολόγησαν το πλαίσιο τους έναντι τέτοιων επιθέσεων, επομένως η αντίστασή της σε αυτές είναι άγνωστη από αυτήν την πηγή.

Τι να παρακολουθήσετε στη συνέχεια

Είτε το πλήρες έγγραφο αναφέρει τα μοντέλα, τα σύνολα δεδομένων, τα κατώφλια και τις αξιολογήσεις επιθέσεων στο απόρρητο πίσω από το ποσοστό του 50%, εάν το κόστος της υπολογιστικής επιρροής καθαυτή έχει συμψηφιστεί και εάν οι ρυθμιστικές αρχές ή άλλα εργαστήρια αποδέχονται ή αμφισβητούν την ιδέα ότι μπορούν να παραμείνουν σημεία χαμηλής επιρροής.

Το πρώτο πράγμα που πρέπει να αναζητήσετε είναι η πλήρης εργασία πίσω από την περίληψη. Τα βασικά ερωτήματα περιλαμβάνουν ποια μοντέλα και σύνολα δεδομένων χρησιμοποιήθηκαν, με ποιες μεθόδους απομάθησης βάσης μετρήθηκαν οι εξοικονομήσεις, ποια προσέγγιση επιρροής-συνάρτησης επιλέχθηκε, πώς ορίστηκε το όριο για "αμελητέο" αντίκτυπο και εάν το ποσοστό έως και 50 τοις εκατό αντικατοπτρίζει μια τυπική περίπτωση ή μια καλύτερη περίπτωση μεταξύ των παραδειγμάτων που δοκιμάστηκαν. Το εάν το έργο έχει γίνει αποδεκτό σε έναν χώρο που έχει αξιολογηθεί από ομοτίμους και εάν θα κυκλοφορήσουν τεχνουργήματα κώδικα ή αξιολόγησης, θα καθορίσει πόσο γρήγορα μπορούν οι άλλοι να ελέγξουν το αποτέλεσμα.

Δεύτερον, προσέξτε πώς μετράται η ποιότητα της λήθης. Οι μετρήσεις εξόδου-ομοιότητας - που δείχνουν ότι ένα μοντέλο συμπεριφέρεται σαν να μην είχε δει ποτέ τα δεδομένα - είναι πιο αδύναμες αποδείξεις από την αντίθετη αξιολόγηση χρησιμοποιώντας επιθέσεις συμπερασμάτων μέλους ή εξαγωγής. Αξίζει επίσης να παρακολουθήσετε τη λογιστική: εάν η αναφερόμενη εξοικονόμηση είναι καθαρή από το κόστος υπολογισμού επηρεάζει τις εκτιμήσεις και πώς αυτό το κόστος κλιμακώνεται καθώς μεγαλώνουν τα μοντέλα και τα σύνολα λήψεων. Μια μέθοδος που εξοικονομεί το ήμισυ του υπολογισμού unlearning αλλά απαιτεί ένα ακριβό πάσο επιρροής μπορεί να φαίνεται διαφορετική σε συνοριακή κλίμακα από ό,τι σε μικρότερα παραδείγματα.

Τρίτον, παρακολουθήστε τη ρυθμιστική υποδοχή. Η διαλογή βάσει αποτελεσμάτων προκαλεί ένα ερώτημα που οι αρχές προστασίας δεδομένων δεν έχουν διευθετήσει με δημόσια καθοδήγηση: εάν ένας ελεγκτής μπορεί να αρνηθεί να τροποποιήσει ένα μοντέλο με το σκεπτικό ότι η συνεισφορά μιας εγγραφής ήταν αμέτρητα μικρή. Οποιαδήποτε καθοδήγηση, ενέργεια επιβολής ή εργασία προτύπων που αντιμετωπίζει τις υποχρεώσεις διαγραφής για εκπαιδευμένα μοντέλα θα διαμορφώσει εάν αυτή η προσέγγιση μπορεί να χρησιμοποιηθεί σε ροές εργασιών συμμόρφωσης ή παραμένει μια τεχνική εσωτερικής αποδοτικότητας.

Τέλος, παρακολουθήστε την υιοθεσία και την αντίκρουση. Η ανεξάρτητη αναπαραγωγή σε διαφορετικές αρχιτεκτονικές και διανομές δεδομένων θα καθόριζε εάν τα υποσύνολα χαμηλής επιρροής είναι κοινά και αναγνωρίσιμα γενικά ή αποτελούν τεχνούργημα συγκεκριμένων ρυθμίσεων. Οι προσπάθειες να παραβιαστεί η μέθοδος — η κατασκευή περιπτώσεων όπου ένα σημείο φαίνεται χαμηλής επιρροής αλλά παραμένει εξαγώγιμο — θα ήταν εξίσου κατατοπιστικές. Και παραμένει άγνωστο εάν η Apple σκοπεύει να το χρησιμοποιήσει στην παραγωγή. η σελίδα δημοσίευσης δεν κάνει καμία τέτοια δήλωση και δεν πρέπει να θεωρηθεί καμία.

Σχετικοί οδηγοί και κουίζ