DalšíDalší průvodce
Jemné ladění vs RAG vs Prompting
Jazyk AI
Jazyk AI GUIDE
Prefix-tuning is a parameter-efficient adaptation method studied by Li and Liang.
Poslechněte si tento návodAI-vyprávěný · ~1 min
It freezes a pretrained language model and learns continuous task-specific prefix vectors that influence the model’s attention computations.
Prefix-tuning prepends trainable continuous vectors to the key and value activations at transformer layers while freezing the pretrained model parameters. Li and Liang evaluate the method on table-to-text generation and summarization. In their reported experiments, the method learns about 0.1% of the model parameters. They also report that prefix-tuning outperformed full fine-tuning in some evaluated low-data settings and performed competitively in other studied conditions. These are results tied to the paper’s model, tasks and data splits, not universal guarantees.
The paper evaluates prefix-tuning on WebNLG table-to-text generation.
The paper evaluates summarization with a pretrained BART model.
A task-specific prefix can be stored separately while the pretrained backbone remains frozen.
The paper compares prefix-tuning with full fine-tuning in full-data and low-data settings.
When reproducing the paper, record the backbone, task, data split, prefix length, and parameter count. Compare against full fine-tuning on the same evaluation and avoid assuming the paper’s results transfer unchanged to other models or deployment settings.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Prefix-tuning is a parameter-efficient adaptation method studied by Li and Liang. It freezes a pretrained language model and learns continuous task-specific prefix vectors that influence the model’s attention computations.
Ladění prefixů zmrazí páteř a naučí se pouze malou množinu spojitých vektorů prefixů, takže je parametricky efektivní.
Ladění prefixů předřadí trénovatelné vektory klíč/hodnota na vlastní pozornost každé vrstvy transformátoru, nejen na vstupu.
Ladění prefixů navrhl Xiang Lisa Li a Percy Liang na Stanfordu v roce 2021.
Vzhledem k tomu, že pouze malá předpona je specifická pro úlohu, ukládáte jeden malý soubor na úlohu namísto duplikování celého modelu.
Malý MLP generuje předponu během tréninku stability, pak je zahozen a ponechávají jen naučené matice prefixů.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jemné ladění vs RAG vs Prompting
Jazyk AI