What is Model Quantization? Definition | AI Understanding

Definiție

Reducerea preciziei numerice a greutăților modelului pentru a reduce costurile de memorie și de inferență.

Termeni înrudiți

Conversia greutăților modelului în formate de precizie mai scăzută, cum ar fi 8 biți sau 4 biți.

O tehnică de reglare fină care combină cuantificarea greutății pe 4 biți cu adaptoare LoRA pentru a reduce nevoile de memorie.

Un algoritm de atenție optimizat care reduce utilizarea memoriei și accelerează antrenamentul și inferența transformatorului.

Memorie (Memorie agent)

Context stocat pe care un agent AI îl folosește în pași sau sesiuni pentru a îmbunătăți continuitatea.

Un sistem software care poate observa, raționa și întreprinde acțiuni pentru a atinge un obiectiv, folosind adesea instrumente și memorie.

Un domeniu axat pe reducerea comportamentului dăunător, a eșecurilor și a riscurilor de utilizare greșită în sistemele AI.

Aflați mai multe în ghidurile noastre gratuite

AI Models Explained Model Collapse Model Lifecycle Model Context Protocol

Vezi și

Model Drift Multimodal Model Model Card Named Entity Recognition (NER)Mixture of Experts (MoE)Natural Language Processing (NLP)Neural Network Machine Learning (ML)

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite