What is Quantization? Definition | AI Understanding

Definice

Konverze modelových vah do formátů s nižší přesností, jako je 8bitový nebo 4bitový.

Související pojmy

Kvantování modelu

Snížení numerické přesnosti modelových vah za účelem snížení nákladů na paměť a odvození.

Technika jemného ladění, která kombinuje 4bitovou kvantizaci hmotnosti s adaptéry LoRA pro snížení potřeby paměti.

Zpětná propagace

Základní trénovací algoritmus, který aktualizuje váhy modelu šířením chyb predikce zpět po síti.

Konvoluční neuronová síť (CNN)

Neuronová architektura optimalizovaná pro zpracování dat podobných mřížce, jako jsou obrázky.

Extrakce funkcí

Převádění nezpracovaných dat na informativní funkce, které může model používat.

Generativní AI

Systémy umělé inteligence, které vytvářejí nový obsah, jako je text, obrázky, zvuk, video nebo kód.

Více se dozvíte v našich bezplatných průvodcích

Residual Vector Quantization SmoothQuant and Activation Quantization GPTQ and AWQ Post-Training Quantization Quantization

Viz také

Pruning RAG (Retrieval-Augmented Generation)Prompt Injection Recall Prompt Engineering Recommendation System Prompt Red Teaming

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI