Il prossimoProssima guida
Ottimizzazione vs RAG vs Prompt
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Prefix-tuning is a parameter-efficient adaptation method studied by Li and Liang.
Ascolta questa guidaNarrato dall'IA · ~1 min
It freezes a pretrained language model and learns continuous task-specific prefix vectors that influence the model’s attention computations.
Prefix-tuning prepends trainable continuous vectors to the key and value activations at transformer layers while freezing the pretrained model parameters. Li and Liang evaluate the method on table-to-text generation and summarization. In their reported experiments, the method learns about 0.1% of the model parameters. They also report that prefix-tuning outperformed full fine-tuning in some evaluated low-data settings and performed competitively in other studied conditions. These are results tied to the paper’s model, tasks and data splits, not universal guarantees.
The paper evaluates prefix-tuning on WebNLG table-to-text generation.
The paper evaluates summarization with a pretrained BART model.
A task-specific prefix can be stored separately while the pretrained backbone remains frozen.
The paper compares prefix-tuning with full fine-tuning in full-data and low-data settings.
When reproducing the paper, record the backbone, task, data split, prefix length, and parameter count. Compare against full fine-tuning on the same evaluation and avoid assuming the paper’s results transfer unchanged to other models or deployment settings.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Prefix-tuning is a parameter-efficient adaptation method studied by Li and Liang. It freezes a pretrained language model and learns continuous task-specific prefix vectors that influence the model’s attention computations.
La sintonizzazione del prefisso congela la dorsale e apprende solo un piccolo insieme di vettori di prefisso continui, mantenendolo efficiente in termini di parametri.
La sintonizzazione del prefisso antepone vettori chiave/valore addestrabili all'autoattenzione di ogni strato del trasformatore, non solo all'input.
L'accordatura del prefisso è stata proposta da Xiang Lisa Li e Percy Liang a Stanford nel 2021.
Poiché solo il prefisso piccolo è specifico dell'attività, è possibile archiviare un piccolo file per attività anziché duplicare l'intero modello.
Un piccolo MLP genera il prefisso durante l'addestramento alla stabilità, quindi viene gettato via, lasciando solo le matrici dei prefissi appresi.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ottimizzazione vs RAG vs Prompt
Intelligenza artificiale linguistica