KI-Glossarbegriff

Was ist Beschneiden?

Definition

Entfernen weniger wichtiger Modellgewichte oder Neuronen, um Größe und Rechenleistung zu reduzieren.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

Schiebefenster AchtungEin Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.SkalierungsgesetzEine empirische Beziehung, die zeigt, wie sich die Leistung mit der Modellgröße, den Daten oder der Rechenleistung verbessert.Destilliertes ModellEin kleineres Modell, das darauf trainiert wurde, das Verhalten eines größeren Modells zu imitieren und gleichzeitig weniger Rechenleistung bei der Inferenz zu verbrauchen.RückpropagationDer zentrale Trainingsalgorithmus, der Modellgewichte aktualisiert, indem er Vorhersagefehler rückwärts durch das Netzwerk weiterleitet.BerechnenDie zum Trainieren und Ausführen von Modellen erforderlichen Verarbeitungsressourcen, oft gemessen in FLOPS oder GPU-Stunden.FarbverlaufEin Vektor, der zeigt, um wie viel sich jeder Parameter ändern sollte, um Verluste zu reduzieren.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Attention Rollout and Head PruningStructured Pruning and Layer DroppingModel Pruning

Siehe auch

Prompt InjectionQuantizationPrompt EngineeringRAG (Retrieval-Augmented Generation)PromptRecallPretrainingRecommendation System