What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Definice

Parametrově efektivní metoda jemného ladění, která přidává matice adaptérů nízké úrovně.

Související pojmy

Parametrově efektivní jemné doladění (PEFT)

Metody, které přizpůsobují modely trénováním malé podmnožiny přidaných parametrů.

Technika jemného ladění, která kombinuje 4bitovou kvantizaci hmotnosti s adaptéry LoRA pro snížení potřeby paměti.

Jemné doladění

Pokračující školení o datech specifických pro doménu, aby bylo možné předem trénovaný model přizpůsobit konkrétnímu úkolu.

Ladění instrukcí

Jemné doladění modelu na párech instrukce-odpověď pro zlepšení plnění úkolů.

DPO (přímá optimalizace preferencí)

Tréninková metoda, která dolaďuje modely přímo na preferenčních párech bez nutnosti samostatného modelu odměn.

Vyhlazování štítků

Metoda regularizace, která změkčuje tvrdé štítky pro zlepšení zobecnění.

Více se dozvíte v našich bezplatných průvodcích

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

Viz také

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI