LegközelebbKövetkező útmutató
Cross-Encoder vs Bi-Encoders
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Encoder-decoder architectures map an input sequence to an output sequence that may differ in length.
Hallgassa meg ezt az útmutatótAI-narrált · ~1 min
The encoder builds source representations, and the decoder generates target elements conditioned on those representations.
Early seq2seq models used recurrent encoders and decoders. Bahdanau attention addressed the fixed-vector bottleneck by computing a source context for each decoder step. The Transformer replaces recurrence with self-attention and cross-attention. BART pretrains a denoising encoder-decoder, while T5 casts many language tasks as text-to-text. These papers evaluate specific models and tasks; the architecture alone does not guarantee quality.
A neural translation encoder represents a source sentence while a decoder generates a translated sentence.
Bahdanau attention lets each decoder step focus on different encoder states.
The Transformer uses encoder-decoder attention and masked decoder self-attention.
BART and T5 use encoder-decoder architectures for denoising or text-to-text tasks.
Choose an encoder-decoder when a task naturally maps one sequence to another, and compare it with alternatives on the target data and latency. Track input-length behavior and output quality. The cited work does not establish that this architecture is best for every language task.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Encoder-decoder architectures map an input sequence to an output sequence that may differ in length. The encoder builds source representations, and the decoder generates target elements conditioned on those representations.
A kódoló felhasználja a teljes bemeneti szekvenciát, és kontextuális vektorokat állít elő, amelyek rögzítik a jelentését, amelyeket a dekódoló ezután felhasznál.
A maszkolás biztosítja, hogy minden kimeneti pozíció csak a korábbi pozíciókat veszi figyelembe, megőrizve a balról jobbra mutató autoregresszív generálási sorrendet.
A keresztfigyelés lehetővé teszi, hogy minden dekódoló réteg lekérdezze a kódoló rejtett állapotait, összekapcsolva a bemenet megértését a kimenet generálásával.
A T5 (és a BART) klasszikus kódoló-dekódoló modellek, amelyek a feladatokat szövegként szöveggé alakítják. A BERT csak kódoló, a GPT-3 pedig csak dekódoló.
A fordítás leképezi az egyik sorozatot egy másikra, így a teljes forrás (kódoló) kiolvasása és egy új cél (dekódoló) létrehozása tökéletesen illeszkedik.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Cross-Encoder vs Bi-Encoders
Nyelvi AI