What is Model Quantization? Definition | AI Understanding

Definicja

Zmniejszenie precyzji numerycznej wag modeli w celu zmniejszenia kosztów pamięci i wnioskowania.

Powiązane terminy

Konwertowanie wag modeli na formaty o niższej precyzji, takie jak 8-bitowe lub 4-bitowe.

Technika dostrajania, która łączy 4-bitową kwantyzację wagi z adapterami LoRA w celu zmniejszenia zapotrzebowania na pamięć.

Błyskawiczna uwaga

Zoptymalizowany algorytm uwagi, który zmniejsza zużycie pamięci i przyspiesza uczenie i wnioskowanie transformatora.

Pamięć (pamięć agenta)

Przechowywany kontekst, którego agent AI używa na różnych etapach lub sesjach, aby poprawić ciągłość.

System oprogramowania, który potrafi obserwować, rozumować i podejmować działania, aby osiągnąć cel, często przy użyciu narzędzi i pamięci.

Bezpieczeństwo AI

Dziedzina skupiająca się na ograniczaniu szkodliwych zachowań, awarii i ryzyka niewłaściwego użycia w systemach AI.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Models Explained Model Collapse Model Lifecycle Model Context Protocol

Zobacz także

Model Drift Multimodal Model Model Card Named Entity Recognition (NER)Mixture of Experts (MoE)Natural Language Processing (NLP)Neural Network Machine Learning (ML)

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI