Termin ze słownika AI

Czym jest Przycinanie?

Definicja

Usuwanie mniej ważnych wag modelu lub neuronów w celu zmniejszenia rozmiaru i obliczeń.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Uwaga na przesuwane oknoWzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.Prawo skalowaniaZależność empiryczna pokazująca, jak wydajność poprawia się wraz z rozmiarem modelu, danymi lub obliczeniami.Destylowany modelMniejszy model wyszkolony do naśladowania zachowania większego modelu przy mniejszym wykorzystaniu mocy obliczeniowej przy wnioskowaniu.Propagacja wstecznaPodstawowy algorytm szkoleniowy, który aktualizuje wagi modeli poprzez propagację błędów przewidywań wstecz w sieci.ObliczZasoby przetwarzania wymagane do uczenia i uruchamiania modeli, często mierzone w FLOPS lub godzinach GPU.GradientoweWektor pokazujący, jak bardzo powinien zmienić się każdy parametr, aby zmniejszyć straty.

Dowiedz się więcej z naszych bezpłatnych przewodników

Attention Rollout and Head PruningStructured Pruning and Layer DroppingModel Pruning

Zobacz także

Prompt InjectionQuantizationPrompt EngineeringRAG (Retrieval-Augmented Generation)PromptRecallPretrainingRecommendation System