Глоссарий терминов искусственного интеллекта

Что такое QLoRA?

Определение

Метод тонкой настройки, сочетающий 4-битное весовое квантование с адаптерами LoRA для уменьшения потребности в памяти.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

LoRA (Адаптация низкого ранга)Метод точной настройки с эффективным параметром, который добавляет матрицы адаптеров низкого ранга.КвантованиеПреобразование весов модели в форматы более низкой точности, например 8-битные или 4-битные.Точная настройкаПродолжение обучения на предметных данных для адаптации предварительно обученной модели к конкретной задаче.Инструкция по настройкеТочная настройка модели на парах инструкция-ответ для улучшения выполнения задач.Квантование моделиСнижение числовой точности весов модели для уменьшения затрат на память и логические выводы.Точная настройка с эффективным использованием параметров (PEFT)Методы, которые адаптируют модели путем обучения небольшого подмножества добавленных параметров.

Узнайте больше в наших бесплатных руководствах.

QLoRA and 4-Bit Fine-Tuning

См. также

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)