Термін глосарію AI

Що таке QLoRA?

Визначення

Техніка тонкого налаштування, яка поєднує 4-бітне вагове квантування з адаптерами LoRA для зменшення потреби в пам’яті.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

LoRA (адаптація низького рангу)Ефективний метод тонкого налаштування параметрів, який додає низькорангові матриці адаптерів.КвантуванняПеретворення ваг моделі у формати з нижчою точністю, такі як 8- або 4-бітні.Точне налаштуванняПостійне навчання на предметних даних для адаптації попередньо навченої моделі до конкретного завдання.Інструкція НалаштуванняТочне налаштування моделі на парах інструкція-відповідь для покращення виконання завдань.Квантування моделіЗменшення чисельної точності вагових коефіцієнтів моделі для зменшення вартості пам’яті та висновків.Параметричне точне налаштування (PEFT)Методи, які адаптують моделі шляхом навчання невеликої підмножини доданих параметрів.

Дізнайтеся більше в наших безкоштовних посібниках

QLoRA and 4-Bit Fine-Tuning

Дивіться також

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)