What is Model Quantization? Definition | AI Understanding

Определение

Намаляване на числената точност на теглата на модела, за да се намалят разходите за памет и изводи.

Свързани термини

Квантуване

Преобразуване на теглата на модела във формати с по-ниска точност, като 8-битов или 4-битов.

Техника за фина настройка, която комбинира 4-битово квантуване на теглото с LoRA адаптери за намаляване на нуждите от памет.

Светкавично внимание

Оптимизиран алгоритъм за внимание, който намалява използването на паметта и ускорява обучението на трансформатора и изводите.

Памет (памет на агент)

Съхраненият контекст, който AI агент използва през стъпките или сесиите, за да подобри непрекъснатостта.

Софтуерна система, която може да наблюдава, разсъждава и предприема действия за постигане на цел, често използвайки инструменти и памет.

AI Безопасност

Област, фокусирана върху намаляването на вредното поведение, отказите и рисковете от злоупотреба в системите с изкуствен интелект.

Научете повече в нашите безплатни ръководства

AI Models Explained Model Collapse Model Lifecycle Model Context Protocol

See also

Model Drift Multimodal Model Model Card Named Entity Recognition (NER)Mixture of Experts (MoE)Natural Language Processing (NLP)Neural Network Machine Learning (ML)

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI