Термин от речника на AI

Какво е QLoRA?

Определение

Техника за фина настройка, която комбинира 4-битово квантуване на теглото с LoRA адаптери за намаляване на нуждите от памет.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

LoRA (адаптация от нисък ранг)Параметрично ефективен метод за фина настройка, който добавя адаптерни матрици с нисък ранг.КвантуванеПреобразуване на теглата на модела във формати с по-ниска точност, като 8-битов или 4-битов.Фина настройкаПродължаващо обучение върху специфични за домейн данни за адаптиране на предварително обучен модел към конкретна задача.Инструкция за настройкаФина настройка на модел на двойки инструкция-отговор, за да се подобри изпълнението на задачата.Моделно квантуванеНамаляване на числената точност на теглата на модела, за да се намалят разходите за памет и изводи.Параметрно ефективна фина настройка (PEFT)Методи, които адаптират модели чрез обучение на малък поднабор от добавени параметри.

Научете повече в нашите безплатни ръководства

QLoRA and 4-Bit Fine-Tuning

Вижте също

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)