What is QLoRA? Definition | AI Understanding

Определение

Метод тонкой настройки, сочетающий 4-битное весовое квантование с адаптерами LoRA для уменьшения потребности в памяти.

Связанные термины

LoRA (Адаптация низкого ранга)

Метод точной настройки с эффективным параметром, который добавляет матрицы адаптеров низкого ранга.

Квантование

Преобразование весов модели в форматы более низкой точности, например 8-битные или 4-битные.

Точная настройка

Продолжение обучения на предметных данных для адаптации предварительно обученной модели к конкретной задаче.

Инструкция по настройке

Точная настройка модели на парах инструкция-ответ для улучшения выполнения задач.

Квантование модели

Снижение числовой точности весов модели для уменьшения затрат на память и логические выводы.

Точная настройка с эффективным использованием параметров (PEFT)

Методы, которые адаптируют модели путем обучения небольшого подмножества добавленных параметров.

Узнайте больше в наших бесплатных руководствах.

QLoRA and 4-Bit Fine-Tuning

См. также

DPO (Direct Preference Optimization)Flash Attention Tree of Thoughts Multi-Head Attention ReAct Positional Encoding Agentic Loop RoPE (Rotary Positional Embeddings)

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту