VolgendeVolgende gids
Checkpoint Sharding en hervatbare training
Technisch
Technische GIDS
Pseudo-labeling is een semi-gecontroleerde techniek waarbij een model dat op een kleine gelabelde set is getraind, zijn eigen labels voor niet-gelabelde gegevens genereert en vervolgens op basis van die voorspellingen traint.
Luister naar deze gidsAI-verteld · ~2 min
Het is een eenvoudige, krachtige manier om overvloedige ongelabelde gegevens te exploiteren.
Zelftraining is een van de oudste semi-gecontroleerde ideeën. Je traint eerst een lerarenmodel op de beperkte gelabelde data. De leraar voorspelt vervolgens labels voor een grote verzameling ongelabelde voorbeelden; voorspellingen met veel vertrouwen worden pseudo-labels. Een studentenmodel wordt getraind in het combineren van echte labels en pseudo-labels, en presteert vaak beter dan de leraar. Betrouwbaarheidsdrempels zijn van belang: alleen voorspellingen boven een waarschijnlijkheidsgrens worden bewaard, zodat het model niet wordt gecorrumpeerd door zijn eigen onzekere gissingen. Moderne varianten combineren pseudo-labeling met consistentieregularisatie. FixMatch genereert bijvoorbeeld een pseudolabel van een zwak aangevulde afbeelding en traint het model om dit te matchen met een sterk verbeterde versie, maar alleen als de zwakke voorspelling betrouwbaar is. Noisy Student heeft het idee op ImageNet geschaald door de student groter te maken en tijdens de training ruis (uitval, augmentatie) toe te voegen.
Een spraakherkenningssysteem trainen door duizenden uren ongelabelde audio te transcriberen met een zaadmodel en vervolgens opnieuw te trainen op basis van de zelfverzekerde transcripties.
De luidruchtige leerling van Google verbetert de nauwkeurigheid van ImageNet door samen met een leraar ongelabelde afbeeldingen herhaaldelijk te labelen en een grotere, luidruchtige leerling te trainen.
Het labelen van een grote verzameling niet-geannoteerde medische scans met een model dat is getraind op een paar honderd door experts gelabelde gevallen om de trainingsset uit te breiden.
Het opstarten van een tekstclassificator voor een nichedomein door miljoenen ongelabelde documenten boven een betrouwbaarheidsdrempel pseudo-labelen.
Pseudo-labeling blijft van cruciaal belang voor label-efficiënt leren en in toenemende mate voor trainingspijplijnen voor grote modellen, waar sterke modellen synthetische labels of zelfs synthetische gegevens genereren om kleinere of nieuwere modellen te trainen, een vorm van destillatie. Verwacht een nauwere integratie met actief leren (beslissen welke voorbeelden mensen moeten labelen), betere schattingen van de onzekerheid om pseudo-labels te filteren, en voortgezet gebruik in spraakherkenning, medische beeldvorming en elk domein waar ongelabelde gegevens veel groter zijn dan gelabelde gegevens.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Pseudo-labeling is een semi-gecontroleerde techniek waarbij een model dat op een kleine gelabelde set is getraind, zijn eigen labels voor niet-gelabelde gegevens genereert en vervolgens op basis van die voorspellingen traint. Het is een eenvoudige, krachtige manier om overvloedige ongelabelde gegevens te exploiteren.
The guide describes generating pseudo-labels and training with labeled and selected unlabeled examples.
The guide says high-confidence predictions are retained to reduce contamination from uncertain guesses.
The guide warns that a model’s errors may be reinforced by its generated labels.
FixMatch uses a confident prediction from a weak augmentation to train on a strong augmentation.
The guide describes adding noise during student training to encourage generalization.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Checkpoint Sharding en hervatbare training
Technisch