What is Pruning? Definition | AI Understanding

Definicja

Usuwanie mniej ważnych wag modelu lub neuronów w celu zmniejszenia rozmiaru i obliczeń.

Powiązane terminy

Uwaga na przesuwane okno

Wzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

Prawo skalowania

Zależność empiryczna pokazująca, jak wydajność poprawia się wraz z rozmiarem modelu, danymi lub obliczeniami.

Destylowany model

Mniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.

Propagacja wsteczna

Podstawowy algorytm szkoleniowy, który aktualizuje wagi modeli poprzez propagację błędów przewidywań wstecz w sieci.

Zasoby przetwarzania wymagane do uczenia i uruchamiania modeli, często mierzone w FLOPS lub godzinach GPU.

Wektor pokazujący, jak bardzo powinien zmienić się każdy parametr, aby zmniejszyć straty.

Dowiedz się więcej z naszych bezpłatnych przewodników

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Zobacz także

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI