What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Визначення

Ефективний метод тонкого налаштування параметрів, який додає низькорангові матриці адаптерів.

Споріднені терміни

Параметричне точне налаштування (PEFT)

Методи, які адаптують моделі шляхом навчання невеликої підмножини доданих параметрів.

Техніка тонкого налаштування, яка поєднує 4-бітне вагове квантування з адаптерами LoRA для зменшення потреби в пам’яті.

Точне налаштування

Постійне навчання на предметних даних для адаптації попередньо навченої моделі до конкретного завдання.

Інструкція Налаштування

Точне налаштування моделі на парах інструкція-відповідь для покращення виконання завдань.

DPO (пряма оптимізація переваг)

Метод навчання, який точно налаштовує моделі безпосередньо на пари переваг без необхідності окремої моделі винагороди.

Згладжування міток

Метод регулярізації, який пом’якшує жорсткі мітки для покращення узагальнення.

Дізнайтеся більше в наших безкоштовних посібниках

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

See also

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту