Il prossimoProssima guida
Apprendimento semi-supervisionato
Fondamenti
GUIDA AI FONDAMENTALI
Il transfer learning riutilizza un modello precedentemente addestrato o le sue rappresentazioni per un altro compito.
Ascolta questa guidaNarrato dall'IA · ~3 min
L'estrazione di caratteristiche fisse e il fine-tuning offrono modi diversi per adattare quel punto di partenza, con il beneficio misurato sui dati target.
A pretrained model provides parameters or representations learned before the target task. Reusing that starting point can be useful when target examples are limited, but it does not guarantee a saving or an accuracy improvement in every setup. In fixed feature extraction, a pretrained base supplies representations while a new prediction head is trained. The base weights remain unchanged by optimizer updates in this stage. Fine-tuning instead permits selected pretrained weights to be updated on the target data. A smaller learning rate is often recommended in the illustrated transfer-learning workflows to limit disruptive parameter changes, especially after adding a randomly initialized head. How many layers to unfreeze and how quickly to update them should be evaluated. Source and target tasks can differ in important ways. Image-network research by Yosinski and colleagues found differences in the transferability of features from different layers, with later features more specialized in their evaluated settings. Task distance affected results, but the finding does not mean every early feature transfers or every distant task fails. Framework behavior introduces additional details. In Keras, a weight's trainable status and the layer's training or inference behavior are generally separate concepts. BatchNormalization is a special case that also stores moving statistics. The cited fine-tuning guide recommends keeping those layers in inference mode when unfreezing the base to avoid disrupting the stored statistics. It also instructs recompiling the Keras model after trainable settings change so the compiled training configuration reflects those choices. These details concern that documented workflow rather than every machine-learning framework.
Confronto tra una base visiva pre-addestrata su ImageNet e l'addestramento di un classificatore target da zero.
Addestrare una nuova testa di classificazione su caratteristiche da una base MobileNet V2 congelata.
Confronto tra estrazione di caratteristiche fisse e fine-tuning di alcuni strati di modelli di immagini pre-addestrati.
Ispezione del comportamento di BatchNormalization quando si modificano le impostazioni di training di un modello base Keras.
Comparing adaptation strategies can reveal which pretrained representation, trainable layers, and optimization settings fit a target task. Reports should identify the source model, target data, preprocessing, and held-out evaluation. A successful result with a particular image network can motivate further experiments without establishing a universal rule for every language or vision model. Framework details also need attention when reproducing a workflow. Useful transfer measurements distinguish the benefit of initialization from the effect of a new head or continued training, and include the cost of adapting the model.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Transfer learning reuses a previously trained model or its representations for another task. Fixed feature extraction and fine-tuning offer different ways to adapt that starting point, with the benefit measured on the target data.
Transfer reuses learned information as a starting point; a target-task benefit still needs evaluation.
Smaller updates can reduce disruption during adaptation, while they do not guarantee preserved knowledge or optimal target performance.
Rappresentazioni fisse rilevanti possono essere utili con dati limitati, ma questo è un motivo per confrontare piuttosto che una scelta universalmente migliore.
Una discrepanza di distribuzione può influenzare il trasferimento, anche se le differenze non garantiscono il fallimento.
Il risultato è limitato alle reti di immagini e ai compiti studiati; la trasferibilità dovrebbe essere valutata altrove.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Apprendimento semi-supervisionato
Fondamenti