Термін глосарію AI

Що є QLoRA?

Визначення

Техніка тонкого налаштування, яка поєднує 4-бітне вагове квантування з адаптерами LoRA для зменшення потреби в пам’яті.

Споріднені терміни

LoRA (адаптація низького рангу)
Ефективний метод тонкого налаштування параметрів, який додає низькорангові матриці адаптерів.
Квантування
Перетворення ваг моделі у формати з нижчою точністю, такі як 8- або 4-бітні.
Точне налаштування
Постійне навчання на предметних даних для адаптації попередньо навченої моделі до конкретного завдання.
Інструкція Налаштування
Точне налаштування моделі на парах інструкція-відповідь для покращення виконання завдань.
Квантування моделі
Зменшення чисельної точності вагових коефіцієнтів моделі для зменшення вартості пам’яті та висновків.
Параметричне точне налаштування (PEFT)
Методи, які адаптують моделі шляхом навчання невеликої підмножини доданих параметрів.

Дізнайтеся більше в наших безкоштовних посібниках

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту