LegközelebbKövetkező útmutató
Finomhangolás vs RAG vs Prompting
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Prefix-tuning is a parameter-efficient adaptation method studied by Li and Liang.
Hallgassa meg ezt az útmutatótAI-narrált · ~1 min
It freezes a pretrained language model and learns continuous task-specific prefix vectors that influence the model’s attention computations.
Prefix-tuning prepends trainable continuous vectors to the key and value activations at transformer layers while freezing the pretrained model parameters. Li and Liang evaluate the method on table-to-text generation and summarization. In their reported experiments, the method learns about 0.1% of the model parameters. They also report that prefix-tuning outperformed full fine-tuning in some evaluated low-data settings and performed competitively in other studied conditions. These are results tied to the paper’s model, tasks and data splits, not universal guarantees.
The paper evaluates prefix-tuning on WebNLG table-to-text generation.
The paper evaluates summarization with a pretrained BART model.
A task-specific prefix can be stored separately while the pretrained backbone remains frozen.
The paper compares prefix-tuning with full fine-tuning in full-data and low-data settings.
When reproducing the paper, record the backbone, task, data split, prefix length, and parameter count. Compare against full fine-tuning on the same evaluation and avoid assuming the paper’s results transfer unchanged to other models or deployment settings.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Prefix-tuning is a parameter-efficient adaptation method studied by Li and Liang. It freezes a pretrained language model and learns continuous task-specific prefix vectors that influence the model’s attention computations.
Az előtag hangolása leállítja a gerincet, és csak egy kis folytonos előtagvektor-készletet tanul meg, így paraméter-hatékony marad.
Az előtag hangolása betanítható kulcs/érték vektorokat fűz minden transzformátorréteg önfigyeléséhez, nem csak a bemenethez.
Az előtag hangolását Xiang Lisa Li és Percy Liang javasolta a Stanfordon 2021-ben.
Mivel csak a kis előtag feladatspecifikus, feladatonként egy apró fájlt kell tárolni, nem pedig a teljes modellt.
Egy kis MLP az edzés közben generálja az előtagot a stabilitás érdekében, majd kidobják, és csak a tanult előtag mátrixok maradnak meg.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Finomhangolás vs RAG vs Prompting
Nyelvi AI