What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Definisi

Kaedah penalaan halus yang cekap parameter yang menambah matriks penyesuai peringkat rendah.

Istilah berkaitan

Penalaan Halus Cekap Parameter (PEFT)

Kaedah yang menyesuaikan model dengan melatih subset kecil parameter tambahan.

Teknik penalaan halus yang menggabungkan pengkuantitian berat 4-bit dengan penyesuai LoRA untuk mengurangkan keperluan memori.

Meneruskan latihan tentang data khusus domain untuk menyesuaikan model pra-latihan kepada tugas tertentu.

Penalaan Arahan

Memperhalusi model pada pasangan arahan-tindak balas untuk menambah baik mengikut tugasan.

DPO (Pengoptimuman Keutamaan Langsung)

Kaedah latihan yang memperhalusi model secara langsung pada pasangan pilihan tanpa memerlukan model ganjaran yang berasingan.

Melicinkan Label

Kaedah regularisasi yang melembutkan label keras untuk meningkatkan generalisasi.

Ketahui lebih lanjut dalam panduan percuma kami

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

See also

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma