Terme du glossaire IA

Qu’est-ce que Taille ?

Définition

Suppression des poids de modèle ou des neurones moins importants pour réduire la taille et le calcul.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

Attention fenêtre coulissanteUn modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.Loi d'échelleRelation empirique montrant comment les performances s'améliorent avec la taille du modèle, les données ou le calcul.Modèle distilléUn modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.RétropropagationL'algorithme de formation de base qui met à jour les pondérations du modèle en propageant les erreurs de prédiction vers l'arrière à travers le réseau.CalculerLes ressources de traitement nécessaires pour entraîner et exécuter des modèles, souvent mesurées en heures FLOPS ou GPU.DégradéUn vecteur montrant dans quelle mesure chaque paramètre doit changer pour réduire les pertes.

Apprenez-en davantage dans nos guides gratuits

Attention Rollout and Head PruningStructured Pruning and Layer DroppingModel Pruning

Voir aussi

Prompt InjectionQuantizationPrompt EngineeringRAG (Retrieval-Augmented Generation)PromptRecallPretrainingRecommendation System