Il prossimoProssima guida
Checkpoint Sharding e formazione ripristinabile
Tecnico
GUIDA TECNICA
La pseudo-etichettatura è una tecnica semi-supervisionata in cui un modello addestrato su un piccolo insieme etichettato genera le proprie etichette per i dati non etichettati, quindi si allena su tali previsioni.
Ascolta questa guidaNarrato dall'IA · ~2 min
È un modo semplice ed efficace per sfruttare numerosi dati non etichettati.
L'autoformazione è una delle idee semi-supervisionate più antiche. Per prima cosa addestri un modello insegnante sui dati etichettati limitati. L'insegnante quindi prevede le etichette per un ampio gruppo di esempi senza etichetta; le previsioni ad alta affidabilità diventano pseudo-etichette. Un modello studentesco si forma sull’unione di vere etichette e pseudo-etichette, spesso surclassando l’insegnante. Le soglie di confidenza sono importanti: vengono mantenute solo le previsioni al di sopra di un limite di probabilità, quindi il modello non viene corrotto dalle sue stesse ipotesi incerte. Le varianti moderne combinano la pseudo-etichettatura con la regolarizzazione della coerenza. FixMatch, ad esempio, genera una pseudo-etichetta da un'immagine debolmente aumentata e addestra il modello per abbinarla a una versione fortemente aumentata, ma solo quando la previsione debole è sicura. Noisy Student ha ampliato l'idea su ImageNet ingrandendo lo studente e aggiungendo rumore (abbandono, aumento) durante la formazione.
Addestramento di un sistema di riconoscimento vocale trascrivendo migliaia di ore di audio senza etichetta con un modello seed, quindi riqualificandolo sulle trascrizioni attendibili.
Lo studente rumoroso di Google migliora la precisione di ImageNet etichettando in modo iterativo le immagini senza etichetta con un insegnante e formando uno studente più grande e rumoroso.
Etichettatura di un ampio pool di scansioni mediche senza annotazioni con un modello addestrato su alcune centinaia di casi etichettati da esperti per espandere il set di formazione.
Avviare un classificatore di testo per un dominio di nicchia mediante la pseudo-etichettatura di milioni di documenti senza etichetta al di sopra di una soglia di confidenza.
La pseudo-etichettatura rimane centrale per un apprendimento efficiente in termini di etichettatura e sempre più per i processi di formazione di modelli di grandi dimensioni, in cui modelli forti generano etichette sintetiche o addirittura dati sintetici per addestrare modelli più piccoli o più nuovi, una forma di distillazione. Aspettatevi una più stretta integrazione con l’apprendimento attivo (decidere quali esempi gli esseri umani dovrebbero etichettare), migliori stime di incertezza per filtrare le pseudo-etichette e un uso continuato nel riconoscimento vocale, nell’imaging medico e in qualsiasi ambito in cui i dati non etichettati superano di gran lunga quelli etichettati.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La pseudo-etichettatura è una tecnica semi-supervisionata in cui un modello addestrato su un piccolo insieme etichettato genera le proprie etichette per i dati non etichettati, quindi si allena su tali previsioni. È un modo semplice ed efficace per sfruttare numerosi dati non etichettati.
The guide describes generating pseudo-labels and training with labeled and selected unlabeled examples.
The guide says high-confidence predictions are retained to reduce contamination from uncertain guesses.
The guide warns that a model’s errors may be reinforced by its generated labels.
FixMatch uses a confident prediction from a weak augmentation to train on a strong augmentation.
The guide describes adding noise during student training to encourage generalization.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Checkpoint Sharding e formazione ripristinabile
Tecnico