What is Pruning? Definition | AI Understanding

Definice

Odstranění méně důležitých závaží modelu nebo neuronů pro snížení velikosti a výpočtu.

Související pojmy

Posuvné okno Pozor

Vzor pozornosti, kde se každý token věnuje pouze oknu blízkých tokenů s pevnou velikostí, aby se snížil počet výpočtů.

Zákon o škálování

Empirický vztah ukazující, jak se výkon zlepšuje s velikostí modelu, daty nebo výpočtem.

Destilovaný model

Menší model trénovaný tak, aby napodoboval chování většího modelu při použití méně výpočtů při odvození.

Zpětná propagace

Základní trénovací algoritmus, který aktualizuje váhy modelu šířením chyb predikce zpět po síti.

Zdroje zpracování potřebné k trénování a spuštění modelů, často měřené v hodinách FLOPS nebo GPU.

Vektor ukazující, jak moc by se měl každý parametr změnit, aby se snížila ztráta.

Více se dozvíte v našich bezplatných průvodcích

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Viz také

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI