Термин от речника на AI

Какво е QLoRA?

Определение

Техника за фина настройка, която комбинира 4-битово квантуване на теглото с LoRA адаптери за намаляване на нуждите от памет.

Свързани термини

LoRA (адаптация от нисък ранг)
Параметрично ефективен метод за фина настройка, който добавя адаптерни матрици с нисък ранг.
Квантуване
Преобразуване на теглата на модела във формати с по-ниска точност, като 8-битов или 4-битов.
Фина настройка
Продължаващо обучение върху специфични за домейн данни за адаптиране на предварително обучен модел към конкретна задача.
Инструкция за настройка
Фина настройка на модел на двойки инструкция-отговор, за да се подобри изпълнението на задачата.
Моделно квантуване
Намаляване на числената точност на теглата на модела, за да се намалят разходите за памет и изводи.
Параметрно ефективна фина настройка (PEFT)
Методи, които адаптират модели чрез обучение на малък поднабор от добавени параметри.

Научете повече в нашите безплатни ръководства

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI