Arsitektur Encoder-Decoder
Arsitektur encoder-decoder membagi model menjadi dua bagian: bagian yang membaca dan mengompresi masukan menjadi representasi internal yang kaya, dan bagian yang menghasilkan keluaran darinya.
Ikhtisar
This design powers translation, summarization, and any task where the input and output are different sequences.
Menyelam Lebih Dalam
Model encoder-decoder memproses masalah dalam dua tahap. Pembuat enkode membaca seluruh urutan masukan (misalnya, kalimat bahasa Inggris) dan mengubahnya menjadi sekumpulan vektor kontekstual yang menangkap makna. Decoder kemudian menghasilkan urutan keluaran (misalnya, Perancis) satu token pada satu waktu, melihat kembali keluaran sebelumnya dan representasi pembuat enkode. Transformer 2017 asli adalah encoder-decoder yang dibuat untuk terjemahan. Model seperti T5 dan BART menggunakan bentuk dan bingkai ini pada setiap tugas sebagai teks masuk dan keluar teks. Pemisahan ini sangat berguna karena encoder dapat melihat seluruh input sekaligus (konteks dua arah), sedangkan decoder menghasilkan input dari kiri ke kanan. Hal ini membuat desain ini cocok untuk masalah urutan-ke-urutan di mana panjang keluaran dan konten berbeda dari masukan.
Wawasan Teknis
Pembuat enkode menggunakan perhatian mandiri dua arah, sehingga setiap token masukan memperhatikan setiap token lainnya sekaligus. Decoder bersifat autoregresif dan menggunakan perhatian diri yang terselubung, yang berarti setiap posisi hanya dapat melihat posisi sebelumnya untuk mempertahankan pembangkitan sebab akibat. Menghubungkannya memerlukan perhatian silang: lapisan dekoder menanyakan status tersembunyi akhir pembuat enkode. Pemisahan ini memungkinkan pembuat enkode membangun pemahaman yang lengkap dan tidak bergantung pada urutan, sementara dekoder berkomitmen pada satu token pada satu waktu.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Arsitektur Encoder-Decoder
Model khusus dekoder seperti GPT kini mendominasi obrolan tujuan umum karena satu tumpukan berskala sederhana dan menangani banyak tugas melalui perintah. Namun desain encoder-decoder tetap ada ketika pemahaman input dan pembangkitan output benar-benar berbeda: pengenalan suara (Whisper), peringkasan dokumen, dan sistem multimodal yang memasangkan vision encoder dengan decoder teks. Harapkan arsitektur hybrid yang meminjam pemahaman dua arah encoder untuk pengambilan dan grounding sekaligus menjaga fleksibilitas decoder, terutama karena model memadukan teks, audio, dan gambar.
Implementasi Dunia Nyata
Google Translate dan DeepL menggunakan Transformers encoder-decoder untuk memetakan kalimat dalam satu bahasa ke bahasa lain.
Bisikan OpenAI mengkodekan spektogram audio dan menerjemahkannya menjadi teks yang ditranskripsi atau diterjemahkan.
T5 dan BART memperkuat peringkasan abstrak, yang meringkas artikel panjang menjadi ringkasan pendek.
Sistem keterangan gambar memasangkan encoder visi dengan decoder teks untuk mendeskripsikan foto dalam kata-kata.
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Encoder-Decoder Architectures quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Cross-Encoder vs Bi-Encoder
Pertanyaan yang sering diajukan
What is Encoder-Decoder Architectures?
Arsitektur encoder-decoder membagi model menjadi dua bagian: bagian yang membaca dan mengompresi masukan menjadi representasi internal yang kaya, dan bagian yang menghasilkan keluaran darinya. Desain ini mendukung penerjemahan, peringkasan, dan tugas apa pun yang masukan dan keluarannya merupakan urutan yang berbeda.
Apa tugas utama encoder dalam model encoder-decoder?
Encoder menggunakan seluruh rangkaian masukan dan menghasilkan vektor kontekstual yang menangkap maknanya, yang kemudian digunakan oleh decoder.
Mengapa decoder menggunakan perhatian diri yang terselubung (kausal)?
Masking memastikan setiap posisi keluaran hanya memperhatikan posisi sebelumnya, menjaga urutan pembuatan autoregresif dari kiri ke kanan.
Mekanisme apa yang menghubungkan decoder ke representasi encoder?
Perhatian silang memungkinkan setiap lapisan dekoder menanyakan status tersembunyi pembuat enkode, menghubungkan pemahaman masukan dengan pembuatan keluaran.
Manakah dari model berikut yang merupakan arsitektur encoder-decoder (urutan-ke-urutan)?
T5 (dan BART) adalah model encoder-decoder klasik yang membingkai tugas sebagai teks-ke-teks. BERT hanya untuk encoder dan GPT-3 hanya untuk decoder.
Mengapa desain encoder-decoder cocok untuk penerjemahan?
Terjemahan memetakan satu urutan ke urutan berbeda, sehingga membaca seluruh sumber (encoder) dan menghasilkan target baru (decoder) sangat cocok.