اگلااگلا گائیڈ
تسلسل کے ماڈلز میں استاد کو زبردستی کرنا
تکنیکی
زبان AI گائیڈ
Sequence-to-sequence (seq2seq) models encode an input sequence and generate an output sequence, which may have a different length.
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~1 min
Attention provides access to source context during decoding.
Early neural machine-translation systems encoded a source sentence into a fixed vector, which constrained long inputs. Bahdanau attention lets a decoder compute context from source hidden states at each step. The Transformer replaces recurrence with attention layers, while sequence-to-sequence variants retain encoder and decoder components. Output length is determined during generation rather than copied from input length.
An encoder can represent a source sentence for translation.
A decoder generates target tokens until an end condition is reached.
Cross-attention uses encoder outputs as keys and values for decoder queries.
Transformer encoder-decoder models such as T5 and BART apply this structure to text tasks.
Choose encoder-decoder or decoder-only architectures based on the task, data and serving constraints. Evaluate input-length behavior, output quality and decoding cost. The cited papers establish particular model designs and benchmarks, not universal superiority of one architecture.
مفت نیوز لیٹر
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
Sequence-to-sequence (seq2seq) models encode an input sequence and generate an output sequence, which may have a different length. Attention provides access to source context during decoding.
ایک انکوڈر ان پٹ کو پڑھتا اور کمپریس کرتا ہے، اور ایک ڈیکوڈر آؤٹ پٹ کی ترتیب تیار کرتا ہے۔
توجہ دیجیے کہ ڈیکوڈر کو طویل جملے کی کارکردگی کو ٹھیک کرتے ہوئے، ایک واحد کمپریسڈ ویکٹر پر انحصار کرنے کی بجائے تمام انکوڈر حالتوں تک رسائی حاصل کرنے دیں۔
Sutskever et al. انکوڈر اور ڈیکوڈر کے لیے اسٹیکڈ LSTM ریکرنٹ نیٹ ورکس کا استعمال کیا۔
توجہ انکوڈر ریاستوں کو وزن تفویض کرتی ہے لہذا ہر آؤٹ پٹ مرحلہ انتہائی متعلقہ ان پٹ پوزیشنوں پر مرکوز ہوتا ہے۔
ڈیکوڈر خود بخود پیدا کرتا ہے اور ترتیب کے اختتامی ٹوکن پر رک سکتا ہے، جس سے متغیر آؤٹ پٹ کی لمبائی کی اجازت دی جاتی ہے۔
سیکھتے رہیں
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔
اگلااگلا گائیڈ
تسلسل کے ماڈلز میں استاد کو زبردستی کرنا
تکنیکی