What is Pruning? Definition | AI Understanding

Definizione

Rimozione di pesi o neuroni del modello meno importanti per ridurre le dimensioni e il calcolo.

Termini correlati

Attenzione alla finestra scorrevole

Un modello di attenzione in cui ogni token si occupa solo di una finestra di dimensione fissa di token vicini per ridurre il calcolo.

Una relazione empirica che mostra come le prestazioni migliorano con le dimensioni, i dati o il calcolo del modello.

Modello distillato

Un modello più piccolo addestrato per imitare il comportamento di un modello più grande utilizzando meno calcolo durante l'inferenza.

Propagazione all'indietro

L'algoritmo di training principale che aggiorna i pesi del modello propagando gli errori di previsione all'indietro attraverso la rete.

Le risorse di elaborazione necessarie per addestrare ed eseguire modelli, spesso misurate in FLOPS o ore GPU.

Un vettore che mostra quanto ciascun parametro dovrebbe cambiare per ridurre la perdita.

Scopri di più nelle nostre guide gratuite

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Vedi anche

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System

Sfoglia il glossario completo dell'intelligenza artificiale Esplora tutte le guide gratuite sull'intelligenza artificiale