Κανονικοποίηση ομάδας
Η κανονικοποίηση ομάδας είναι μια τεχνική που σταθεροποιεί την εκπαίδευση νευρωνικών δικτύων κανονικοποιώντας χαρακτηριστικά μέσα σε μικρές ομάδες καναλιών, ανεξάρτητα για κάθε παράδειγμα.
Επισκόπηση
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
Βαθιά κατάδυση
Τα επίπεδα κανονικοποίησης διατηρούν τους αριθμούς που ρέουν μέσω ενός δικτύου καλά κλιμακωμένους, γεγονός που επιταχύνει και σταθεροποιεί την προπόνηση. Η κανονικοποίηση παρτίδας το κάνει αυτό υπολογίζοντας τον μέσο όρο και τη διακύμανση κάθε χαρακτηριστικού σε ολόκληρη τη μίνι παρτίδα, αλλά αυτό την καθιστά εύθραυστη όταν οι παρτίδες είναι μικρές, καθώς τα στατιστικά στοιχεία γίνονται θορυβώδη και αναξιόπιστα. Η κανονικοποίηση ομάδας, που εισήχθη από τους Wu και He το 2018, αφαιρεί εντελώς την παρτίδα από την εξίσωση. Για κάθε μεμονωμένο παράδειγμα, χωρίζει τα κανάλια σε έναν σταθερό αριθμό ομάδων και στη συνέχεια κανονικοποιεί κάθε ομάδα χρησιμοποιώντας μόνο τις δικές του τιμές αυτού του παραδείγματος. Επειδή ο υπολογισμός δεν εξαρτάται ποτέ από άλλα παραδείγματα της παρτίδας, η απόδοση παραμένει σταθερή είτε η παρτίδα περιέχει 32 εικόνες είτε μόνο μία, καθιστώντας την δημοφιλή σε εργασίες ανίχνευσης, τμηματοποίησης και βαριάς μνήμης.
Τεχνική διορατικότητα
Το Group Norm υπολογίζει τον μέσο όρο και τη διακύμανση στις χωρικές διαστάσεις και στα κανάλια σε κάθε ομάδα, ανά δείγμα. Έπειτα κανονικοποιείται σε μηδενική μέση και μοναδιαία διακύμανση και εφαρμόζει κλίμακα εκμάθησης ανά κανάλι (γάμα) και μετατόπιση (beta). Γενικεύει άλλα σχήματα: με μία ομάδα γίνεται Κανονικοποίηση επιπέδου και με ένα κανάλι ανά ομάδα γίνεται Κανονικοποίηση στιγμιότυπου. Ο αριθμός ομάδων είναι μια υπερπαράμετρος, που συχνά ορίζεται στο 32.
Στρατηγικός αντίκτυπος
Σαφέστερες αποφάσεις
Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
Κόστος και προϋπολογισμός
Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
Ομάδα και ροή εργασίας
Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Το μέλλον της ομαλοποίησης των ομάδων
Η κανονικοποίηση ομάδας παραμένει η πρώτη επιλογή όπου οι παρτίδες πρέπει να είναι μικρές, όπως ανίχνευση και τμηματοποίηση υψηλής ανάλυσης, μοντέλα 3D και βίντεο και εκπαίδευση με περιορισμένη μνήμη. Είναι επίσης ενσωματωμένο σε ευρέως χρησιμοποιούμενες αρχιτεκτονικές παραγωγής όπως τα U-Nets μέσα σε μοντέλα διάχυσης. Καθώς τα μοντέλα μεγαλώνουν και η πίεση της μνήμης ωθεί τα μεγέθη παρτίδων προς τα κάτω, οι κανονικοποιητές ανεξάρτητοι από παρτίδες, μεταξύ αυτών και το Group Norm μαζί με το Layer Norm, είναι πιθανό να παραμείνουν προεπιλεγμένα δομικά στοιχεία, με συνεχή έρευνα για υβρίδια και εναλλακτικές λύσεις χωρίς κανονικοποίηση.
Υλοποίηση σε πραγματικό κόσμο
Ανίχνευση αντικειμένων και τμηματοποίηση παρουσίας (π.χ. μοντέλα σε στυλ μάσκας R-CNN) που εκπαιδεύονται με πολύ μικρές παρτίδες ανά GPU.
Η ραχοκοκαλιά του U-Net είναι μέσα στις γεννήτριες εικόνας διάχυσης, όπου το Group Norm σταθεροποιεί τις κλίμακες χαρακτηριστικών.
Τα δίκτυα 3D και βίντεο όπου η χρήση υψηλής μνήμης αναγκάζει τα μεγέθη παρτίδων να μειώνονται σε ένα ή δύο.
Βελτιστοποίηση μοντέλων μεγάλης όρασης σε περιορισμένο υλικό, όπου μικρές παρτίδες καθιστούν τα στατιστικά στοιχεία του Batch Norm αναξιόπιστα.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Οδικός Χάρτης Εφαρμογής
Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
Τεκμηριώστε όπου βοηθά η Κανονικοποίηση ομάδας και όπου οι απλούστερες μέθοδοι είναι καλύτερες.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Κανονοποίηση ομαδοποιημένης ανταμοιβής σε RLHF
Συχνές ερωτήσεις
What is Group Normalization?
Η κανονικοποίηση ομάδας είναι μια τεχνική που σταθεροποιεί την εκπαίδευση νευρωνικών δικτύων κανονικοποιώντας χαρακτηριστικά μέσα σε μικρές ομάδες καναλιών, ανεξάρτητα για κάθε παράδειγμα. Έχει σημασία γιατί, σε αντίθεση με την κανονικοποίηση παρτίδων, λειτουργεί καλά ακόμα και όταν οι παρτίδες είναι μικροσκοπικές.
Ποιο είναι το κύριο πλεονέκτημα της ομαλοποίησης ομάδας έναντι της κανονικοποίησης παρτίδας;
Επειδή το Group Norm υπολογίζει στατιστικά στοιχεία ανά παράδειγμα και όχι σε όλη την παρτίδα, δεν υποβαθμίζεται από μικροσκοπικές παρτίδες, σε αντίθεση με το Batch Norm.
Σε ποιο σημείο υπολογίζει η κανονικοποίηση ομάδας τη μέση τιμή και τη διακύμανσή της;
Χωρίζει τα κανάλια σε ομάδες και κανονικοποιεί κάθε ομάδα χρησιμοποιώντας μόνο τις τιμές και τις χωρικές θέσεις αυτού του παραδείγματος, αγνοώντας την υπόλοιπη παρτίδα.
Σε ποια ειδική περίπτωση η κανονικοποίηση ομάδας γίνεται Κανονικοποίηση επιπέδων;
Με μια ενιαία ομάδα, όλα τα κανάλια κανονικοποιούνται μαζί ανά παράδειγμα, που είναι ακριβώς Κανονοποίηση επιπέδου.
Σε ποια ειδική περίπτωση η κανονικοποίηση ομάδας γίνεται κανονικοποίηση στιγμιότυπου;
Εάν κάθε ομάδα έχει ένα μόνο κανάλι, κάθε κανάλι κανονικοποιείται από μόνο του ανά παράδειγμα, που είναι η Κανονικοποίηση Περίπτωσης.
Μετά την κανονικοποίηση, τι ισχύει το Group Norm για την αποκατάσταση της αναπαραστατικής ευελιξίας;
Όπως και άλλα επίπεδα κανονικοποίησης, το Group Norm περιλαμβάνει παραμέτρους κλίμακας και μετατόπισης με δυνατότητα εκμάθησης, ώστε το δίκτυο να μπορεί να αναιρέσει ή να προσαρμόσει την κανονικοποίηση όπως απαιτείται.