Il prossimoProssima guida
Encoder incrociati vs Bi-Encoder
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Encoder-decoder architectures map an input sequence to an output sequence that may differ in length.
Ascolta questa guidaNarrato dall'IA · ~1 min
The encoder builds source representations, and the decoder generates target elements conditioned on those representations.
Early seq2seq models used recurrent encoders and decoders. Bahdanau attention addressed the fixed-vector bottleneck by computing a source context for each decoder step. The Transformer replaces recurrence with self-attention and cross-attention. BART pretrains a denoising encoder-decoder, while T5 casts many language tasks as text-to-text. These papers evaluate specific models and tasks; the architecture alone does not guarantee quality.
A neural translation encoder represents a source sentence while a decoder generates a translated sentence.
Bahdanau attention lets each decoder step focus on different encoder states.
The Transformer uses encoder-decoder attention and masked decoder self-attention.
BART and T5 use encoder-decoder architectures for denoising or text-to-text tasks.
Choose an encoder-decoder when a task naturally maps one sequence to another, and compare it with alternatives on the target data and latency. Track input-length behavior and output quality. The cited work does not establish that this architecture is best for every language task.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Encoder-decoder architectures map an input sequence to an output sequence that may differ in length. The encoder builds source representations, and the decoder generates target elements conditioned on those representations.
Il codificatore consuma l'intera sequenza di input e produce vettori contestuali che ne catturano il significato, che poi viene utilizzato dal decodificatore.
Il mascheramento garantisce che ciascuna posizione di output si occupi solo delle posizioni precedenti, preservando l'ordine di generazione autoregressivo da sinistra a destra.
L'attenzione incrociata consente a ciascun livello del decodificatore di interrogare gli stati nascosti del codificatore, collegando la comprensione dell'input alla generazione dell'output.
T5 (e BART) sono classici modelli di codificatore-decodificatore che inquadrano le attività come testo in testo. BERT è solo codificatore e GPT-3 è solo decodificatore.
La traduzione associa una sequenza a un'altra diversa, quindi leggere l'intera sorgente (codificatore) e generare una nuova destinazione (decodificatore) si adatta perfettamente.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Encoder incrociati vs Bi-Encoder
Intelligenza artificiale linguistica