VolgendeVolgende gids
Fine-tuning versus RAG versus prompting
Taal AI
Taal AI-GIDS
Prefix-tuning is a parameter-efficient adaptation method studied by Li and Liang.
Luister naar deze gidsAI-verteld · ~1 min
It freezes a pretrained language model and learns continuous task-specific prefix vectors that influence the model’s attention computations.
Prefix-tuning prepends trainable continuous vectors to the key and value activations at transformer layers while freezing the pretrained model parameters. Li and Liang evaluate the method on table-to-text generation and summarization. In their reported experiments, the method learns about 0.1% of the model parameters. They also report that prefix-tuning outperformed full fine-tuning in some evaluated low-data settings and performed competitively in other studied conditions. These are results tied to the paper’s model, tasks and data splits, not universal guarantees.
The paper evaluates prefix-tuning on WebNLG table-to-text generation.
The paper evaluates summarization with a pretrained BART model.
A task-specific prefix can be stored separately while the pretrained backbone remains frozen.
The paper compares prefix-tuning with full fine-tuning in full-data and low-data settings.
When reproducing the paper, record the backbone, task, data split, prefix length, and parameter count. Compare against full fine-tuning on the same evaluation and avoid assuming the paper’s results transfer unchanged to other models or deployment settings.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Prefix-tuning is a parameter-efficient adaptation method studied by Li and Liang. It freezes a pretrained language model and learns continuous task-specific prefix vectors that influence the model’s attention computations.
Prefix-afstemming bevriest de backbone en leert slechts een kleine set continue prefixvectoren, waardoor deze parameter-efficiënt blijft.
Prefix-afstemming gaat vooraf aan trainbare sleutel-/waardevectoren bij de zelfaandacht van elke transformatorlaag, niet alleen bij de invoer.
Prefix-afstemming werd in 2021 voorgesteld door Xiang Lisa Li en Percy Liang op Stanford.
Omdat alleen het kleine voorvoegsel taakspecifiek is, slaat u één klein bestand per taak op in plaats van dat u het hele model dupliceert.
Een kleine MLP genereert het voorvoegsel tijdens de training voor stabiliteit en wordt vervolgens weggegooid, waardoor alleen de geleerde voorvoegselmatrices overblijven.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Fine-tuning versus RAG versus prompting
Taal AI