What is Model Quantization? Definition | AI Understanding

Definice

Snížení numerické přesnosti modelových vah za účelem snížení nákladů na paměť a odvození.

Související pojmy

Konverze modelových vah do formátů s nižší přesností, jako je 8bitový nebo 4bitový.

Technika jemného ladění, která kombinuje 4bitovou kvantizaci hmotnosti s adaptéry LoRA pro snížení potřeby paměti.

Blesková pozornost

Optimalizovaný algoritmus pozornosti, který snižuje využití paměti a urychluje trénování a vyvozování transformátorů.

Paměť (paměť agenta)

Uložený kontext, který agent AI používá v krocích nebo relacích ke zlepšení kontinuity.

Softwarový systém, který dokáže pozorovat, uvažovat a podnikat kroky k dosažení cíle, často pomocí nástrojů a paměti.

Oblast zaměřená na snižování škodlivého chování, selhání a rizik zneužití v systémech umělé inteligence.

Více se dozvíte v našich bezplatných průvodcích

AI Models Explained Model Collapse Model Lifecycle Model Context Protocol

Viz také

Model Drift Multimodal Model Model Card Named Entity Recognition (NER)Mixture of Experts (MoE)Natural Language Processing (NLP)Neural Network Machine Learning (ML)

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI