Il prossimoProssima guida
Forzatura dell'insegnante nei modelli di sequenza
Tecnico
GUIDA ALL'AI linguistica
Sequence-to-sequence (seq2seq) models encode an input sequence and generate an output sequence, which may have a different length.
Ascolta questa guidaNarrato dall'IA · ~1 min
Attention provides access to source context during decoding.
Early neural machine-translation systems encoded a source sentence into a fixed vector, which constrained long inputs. Bahdanau attention lets a decoder compute context from source hidden states at each step. The Transformer replaces recurrence with attention layers, while sequence-to-sequence variants retain encoder and decoder components. Output length is determined during generation rather than copied from input length.
An encoder can represent a source sentence for translation.
A decoder generates target tokens until an end condition is reached.
Cross-attention uses encoder outputs as keys and values for decoder queries.
Transformer encoder-decoder models such as T5 and BART apply this structure to text tasks.
Choose encoder-decoder or decoder-only architectures based on the task, data and serving constraints. Evaluate input-length behavior, output quality and decoding cost. The cited papers establish particular model designs and benchmarks, not universal superiority of one architecture.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Sequence-to-sequence (seq2seq) models encode an input sequence and generate an output sequence, which may have a different length. Attention provides access to source context during decoding.
Un codificatore legge e comprime l'input e un decodificatore genera la sequenza di output.
Attenzione, lascia che il decodificatore acceda a tutti gli stati del codificatore invece di fare affidamento su un singolo vettore compresso, correggendo le prestazioni della frase lunga.
Sutskever et al. utilizzava reti ricorrenti LSTM in stack per il codificatore e il decodificatore.
L'attenzione assegna pesi agli stati dell'encoder in modo che ogni fase di output si concentri sulle posizioni di input più rilevanti.
Il decodificatore genera in modo autoregressivo e può fermarsi a un token di fine sequenza, consentendo una lunghezza di output variabile.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Forzatura dell'insegnante nei modelli di sequenza
Tecnico