SıradakiSonraki rehber
Sıra Modellerinde Öğretmen Zorlaması
Teknik
Dil AI KILAVUZU
Diziden diziye (seq2seq) modelleri bir girdi dizisini kodlar ve farklı bir uzunluğa sahip olabilen bir çıktı dizisi üretir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~1 min
Attention provides access to source context during decoding.
Early neural machine-translation systems encoded a source sentence into a fixed vector, which constrained long inputs. Bahdanau attention lets a decoder compute context from source hidden states at each step. The Transformer replaces recurrence with attention layers, while sequence-to-sequence variants retain encoder and decoder components. Output length is determined during generation rather than copied from input length.
An encoder can represent a source sentence for translation.
A decoder generates target tokens until an end condition is reached.
Cross-attention uses encoder outputs as keys and values for decoder queries.
Transformer encoder-decoder models such as T5 and BART apply this structure to text tasks.
Choose encoder-decoder or decoder-only architectures based on the task, data and serving constraints. Evaluate input-length behavior, output quality and decoding cost. The cited papers establish particular model designs and benchmarks, not universal superiority of one architecture.
Ücretsiz bülten
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sequence-to-sequence (seq2seq) models encode an input sequence and generate an output sequence, which may have a different length. Attention provides access to source context during decoding.
Kodlayıcı girişi okur ve sıkıştırır ve kod çözücü çıkış dizisini oluşturur.
Dikkat, uzun cümle performansını sabitleyerek tek bir sıkıştırılmış vektöre güvenmek yerine kod çözücünün tüm kodlayıcı durumlarına erişmesine olanak tanır.
Sutskever ve ark. Kodlayıcı ve kod çözücü için yığılmış LSTM tekrarlayan ağları kullandı.
Dikkat, kodlayıcı durumlarına ağırlıklar atar, böylece her çıkış adımı en ilgili giriş konumlarına odaklanır.
Kod çözücü, otomatik regresif olarak üretir ve bir sıra sonu jetonunda durarak değişken çıkış uzunluğuna izin verir.
Öğrenmeye devam et
Bu konu için daha fazla rehber seçildi
SıradakiSonraki rehber
Sıra Modellerinde Öğretmen Zorlaması
Teknik