Εκμάθηση μεταφοράς
Η εκμάθηση μεταφοράς επαναχρησιμοποιεί ένα μοντέλο που έχει ήδη εκπαιδευτεί σε ένα μεγάλο σύνολο δεδομένων και το προσαρμόζει σε μια νέα, σχετική εργασία.
Επισκόπηση
Instead of starting from scratch, you stand on the shoulders of a model that already learned useful general features, saving enormous time, data, and compute.
Βαθιά κατάδυση
Η εκπαίδευση ενός ισχυρού μοντέλου από το μηδέν απαιτεί συχνά εκατομμύρια παραδείγματα με ετικέτα και σοβαρό υλικό. Η μεταφορά μάθησης παρακάμπτει αυτό. Ένα μοντέλο προεκπαιδευμένο σε ένα τεράστιο σύνολο δεδομένων, όπως ένα δίκτυο εικόνων εκπαιδευμένο στο ImageNet ή ένα μοντέλο γλώσσας εκπαιδευμένο σε κείμενο ιστού, έχει ήδη μάθει ευρέως χρήσιμα μοτίβα: άκρες και σχήματα για όραση, γραμματική και νόημα για κείμενο. Παίρνετε αυτό το προεκπαιδευμένο μοντέλο και προσαρμόζετε τις γνώσεις του στο μικρότερο, συγκεκριμένο πρόβλημά σας. Υπάρχουν δύο βασικά στυλ. Στην εξαγωγή χαρακτηριστικών παγώνετε το μεγαλύτερο μέρος του δικτύου και εκπαιδεύετε μόνο ένα νέο επίπεδο εξόδου από πάνω. Κατά τη λεπτομερή ρύθμιση, ξεπαγώνετε επίσης ορισμένα βαθύτερα στρώματα και συνεχίζετε να τα εκπαιδεύετε με χαμηλό ρυθμό εκμάθησης, ώστε το μοντέλο να προσαρμόζεται απαλά στα δεδομένα σας χωρίς να ξεχνάει αυτά που γνώριζε.
Τεχνική διορατικότητα
Τα προεκπαιδευμένα δίκτυα μαθαίνουν μια ιεραρχία: τα πρώιμα επίπεδα καταγράφουν γενικά χαρακτηριστικά (άκρες, υφές, βασικές σχέσεις λέξεων) ενώ τα νεότερα επίπεδα καταγράφουν έννοιες που αφορούν συγκεκριμένες εργασίες. Η μάθηση μεταφοράς το εκμεταλλεύεται αυτό. Εάν η εργασία σας είναι παρόμοια με την αρχική, παγώστε τα πρώτα στρώματα ως εξολκέα σταθερών χαρακτηριστικών και επανεκπαιδεύστε μόνο το κεφάλι. Εάν τα δεδομένα σας διαφέρουν περισσότερο, ρυθμίστε βαθύτερα επίπεδα χρησιμοποιώντας πολύ μικρό ρυθμό εκμάθησης, ώστε οι ενημερώσεις να είναι ήπιες. Ο μεγάλος κίνδυνος είναι η μετατόπιση τομέα: εάν τα νέα δεδομένα φαίνονται πολύ διαφορετικά από τα δεδομένα προεκπαίδευσης, οι δανεισμένες λειτουργίες δεν ταιριάζουν καλά.
Στρατηγικός αντίκτυπος
Σαφέστερες αποφάσεις
Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
Κόστος και προϋπολογισμός
Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
Ομάδα και ροή εργασίας
Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
The Future of Transfer Learning
Η εκμάθηση μεταφοράς έχει γίνει ο προεπιλεγμένος τρόπος κατασκευής του AI. Σήμερα σχεδόν κανείς δεν εκπαιδεύει ένα μεγάλο όραμα ή μοντέλο γλώσσας από την αρχή. Αντ' αυτού, οι ομάδες προσαρμόζουν ένα προεκπαιδευμένο μοντέλο θεμελίωσης. Το σύνορο είναι μέθοδοι αποδοτικές ως προς τις παραμέτρους, όπως το LoRA και οι προσαρμογείς, οι οποίοι τροποποιούν μόνο ένα μικρό κλάσμα βαρών για να προσαρμόσουν φθηνά γιγάντια μοντέλα. Αναμένετε να εμβαθύνει αυτή η τάση: μικρότερα, εξειδικευμένα μοντέλα αποσταγμένα και βελτιωμένα από μεγάλα, συν αυξανόμενη προσοχή στον μετριασμό της αλλαγής τομέα και στην αποφυγή της «καταστροφικής λήθης» όταν ένα μοντέλο προσαρμόζεται επανειλημμένα.
Υλοποίηση σε πραγματικό κόσμο
Βελτιστοποίηση ενός δικτύου προεκπαιδευμένου από το ImageNet για τον εντοπισμό συγκεκριμένων ελαττωμάτων σε μια εργοστασιακή γραμμή παραγωγής με λίγες μόνο χιλιάδες φωτογραφίες
Προσαρμογή ενός μεγάλου προκαταρτισμένου γλωσσικού μοντέλου για σύνταξη νομικών ή ιατρικών περιλήψεων με λεπτομέρεια σε ένα μικρότερο εξειδικευμένο σώμα
Χρησιμοποιώντας ένα μοντέλο εκπαιδευμένο στη γενική ομιλία ως αφετηρία για τη δημιουργία ενός αναγνωριστικού για μια συγκεκριμένη προφορά ή διάλεκτο
Επανεκπαίδευση του τελικού στρώματος ενός μοντέλου όρασης για ταξινόμηση φυτικών ασθενειών από εικόνες φύλλων για μια εφαρμογή καλλιέργειας
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Οδικός Χάρτης Εφαρμογής
Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
Τεκμηριώστε πού βοηθά το Transfer Learning και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Transfer Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Ημι-εποπτευόμενη μάθηση
Συχνές ερωτήσεις
What is Transfer Learning?
Η εκμάθηση μεταφοράς επαναχρησιμοποιεί ένα μοντέλο που έχει ήδη εκπαιδευτεί σε ένα μεγάλο σύνολο δεδομένων και το προσαρμόζει σε μια νέα, σχετική εργασία. Αντί να ξεκινήσετε από το μηδέν, στέκεστε στους ώμους ενός μοντέλου που έχει ήδη μάθει χρήσιμες γενικές λειτουργίες, εξοικονομώντας τεράστιο χρόνο, δεδομένα και υπολογισμούς.
Ποια είναι η βασική ιδέα της μεταφοράς μάθησης;
Η εκμάθηση μεταφοράς χρησιμοποιεί ένα μοντέλο που έχει ήδη μάθει γενικά χαρακτηριστικά και το προσαρμόζει, εξοικονομώντας δεδομένα, χρόνο και υπολογισμούς.
Γιατί χρησιμοποιείτε πολύ χαμηλό ρυθμό εκμάθησης όταν προσαρμόζετε βαθύτερα επίπεδα;
Οι μεγάλες ενημερώσεις σε ένα μικρό σύνολο δεδομένων μπορούν να αντικαταστήσουν πολύτιμες προεκπαιδευμένες λειτουργίες και να προσαρμόζονται γρήγορα, επομένως οι ενημερώσεις διατηρούνται μικρές.
Σε ποια κατάσταση ταιριάζει καλύτερα η απλή εξαγωγή χαρακτηριστικών (πάγωμα της βάσης);
Όταν η εργασία στόχος είναι κοντά στην αρχική και τα δεδομένα είναι περιορισμένα, τα παγωμένα χαρακτηριστικά είναι ήδη σχετικά, επομένως χρειάζεστε μόνο μια νέα κεφαλή.
Ποιο πρόβλημα περιγράφει η 'μετατόπιση τομέα' στη μεταφορά εκμάθησης;
Εάν ο τομέας προορισμού φαίνεται πολύ διαφορετικός από αυτόν στον οποίο είχε προεκπαιδευτεί το μοντέλο, οι επαναχρησιμοποιούμενες δυνατότητες ενδέχεται να μην μεταφέρονται καλά και η ακρίβεια να πέσει.
Γιατί τα πρώτα στρώματα ενός προεκπαιδευμένου δικτύου επαναχρησιμοποιούνται συχνά πιο εύκολα από τα μεταγενέστερα;
Τα πρώτα επίπεδα καταγράφουν ευρέως χρήσιμα μοτίβα χαμηλού επιπέδου, ενώ τα μεταγενέστερα στρώματα είναι πιο εξειδικευμένα στην αρχική εργασία.