What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Definizione

Un metodo di regolazione fine efficiente in termini di parametri che aggiunge matrici di adattatori di basso rango.

Termini correlati

Regolazione fine efficiente dei parametri (PEFT)

Metodi che adattano i modelli addestrando un piccolo sottoinsieme di parametri aggiunti.

Una tecnica di messa a punto che combina la quantizzazione del peso a 4 bit con gli adattatori LoRA per ridurre le esigenze di memoria.

Formazione continua su dati specifici del dominio per adattare un modello pre-addestrato a un compito specifico.

Sintonizzazione delle istruzioni

Messa a punto di un modello sulle coppie istruzione-risposta per migliorare il follow-up del compito.

DPO (ottimizzazione delle preferenze dirette)

Un metodo di formazione che ottimizza i modelli direttamente sulle coppie di preferenze senza bisogno di un modello di ricompensa separato.

Levigatura delle etichette

Un metodo di regolarizzazione che ammorbidisce le etichette rigide per migliorare la generalizzazione.

Scopri di più nelle nostre guide gratuite

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

Vedi anche

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Sfoglia il glossario completo dell'intelligenza artificiale Esplora tutte le guide gratuite sull'intelligenza artificiale