Kodlayıcı-Kod Çözücü Mimarileri
Kodlayıcı-kod çözücü mimarileri, bir modeli iki yarıya ayırır: Biri girişi okuyup sıkıştırarak zengin bir dahili temsile dönüştürür, diğeri ise bundan çıktı üretir.
Genel Bakış
This design powers translation, summarization, and any task where the input and output are different sequences.
Derin Dalış
Kodlayıcı-kod çözücü modeli, bir sorunu iki aşamada işler. Kodlayıcı, girdi dizisinin tamamını okur (örneğin, İngilizce bir cümle) ve onu, anlamı yakalayan bir dizi bağlamsal vektöre dönüştürür. Kod çözücü daha sonra kendi önceki çıktılarına ve kodlayıcının temsillerine bakarak, her seferinde bir jeton olmak üzere çıktı dizisini (örneğin, Fransızca) üretir. Orijinal 2017 Transformer, çeviri için oluşturulmuş bir kodlayıcı-kod çözücüydü. T5 ve BART gibi modeller bu şekli kullanır ve her görevi metin girişi ve çıkışı olarak çerçeveler. Bölünme güçlüdür çünkü kodlayıcı tüm girişi aynı anda görebilir (çift yönlü bağlam), kod çözücü ise soldan sağa üretir. Bu, tasarımı, çıktı uzunluğunun ve içeriğinin girdiden farklı olduğu diziden diziye problemler için doğal bir uyum haline getirir.
Teknik Bilgi
Kodlayıcı çift yönlü öz dikkati kullanır, böylece her giriş jetonu diğer jetonlarla aynı anda ilgilenir. Kod çözücü otoregresiftir ve maskelenmiş öz-dikkati kullanır; bu, her konumun nedensel üretimi korumak için yalnızca önceki konumları görebileceği anlamına gelir. Bunları birbirine bağlamak çapraz dikkat gerektirir: Kod çözücü katmanları, kodlayıcının son gizli durumlarını sorgular. Bu ayırma, kodlayıcının tam, sıradan bağımsız bir anlayış oluşturmasına olanak tanırken, kod çözücü her seferinde bir jetonu taahhüt eder.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Kodlayıcı-Kod Çözücü Mimarilerinin Geleceği
GPT gibi yalnızca kod çözücüye yönelik modeller artık genel amaçlı sohbete hakimdir çünkü tek bir yığın basit bir şekilde ölçeklenir ve birçok görevi yönlendirme yoluyla gerçekleştirir. Ancak kodlayıcı-kod çözücü tasarımları, girdi anlama ve çıktı oluşturmanın gerçekten farklı olduğu durumlarda devam eder: konuşma tanıma (Whisper), belge özetleme ve görüntü kodlayıcıyı bir metin kod çözücüyle eşleştiren çok modlu sistemler. Özellikle modeller metin, ses ve görüntüleri birleştirirken kodlayıcının esnekliğini korurken, geri alma ve topraklama için kodlayıcının çift yönlü kavrayışını ödünç alan hibrit mimariler bekleyin.
Gerçek Dünya Uygulaması
Google Translate ve DeepL, bir dildeki bir cümleyi diğerine eşlemek için kodlayıcı-kod çözücü Transformers'ı kullanır.
OpenAI'ın Whisper'ı ses spektrogramlarını kodlar ve bunların kodunu çözerek kopyalanmış veya çevrilmiş metne dönüştürür.
T5 ve BART, uzun makaleleri kısa özetlere yoğunlaştırarak soyutlayıcı özetlemeyi güçlendirir.
Görüntü altyazılama sistemleri, fotoğrafları kelimelerle tanımlamak için görsel kodlayıcıyı bir metin kod çözücüyle eşleştirir.
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Encoder-Decoder Architectures quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Çapraz Kodlayıcılar ve Bi-Enkoderler
Sık sorulan sorular
What is Encoder-Decoder Architectures?
Kodlayıcı-kod çözücü mimarileri, bir modeli iki yarıya ayırır: Biri girişi okuyup sıkıştırarak zengin bir dahili temsile dönüştürür, diğeri ise bundan çıktı üretir. Bu tasarım çeviriye, özetlemeye ve girdi ile çıktının farklı diziler olduğu her türlü göreve güç sağlar.
Kodlayıcı-kod çözücü modelinde kodlayıcının asıl görevi nedir?
Kodlayıcı, giriş dizisinin tamamını tüketir ve anlamını yakalayan bağlamsal vektörler üretir ve kod çözücü daha sonra bunları kullanır.
Kod çözücü neden maskelenmiş (nedensel) kişisel dikkati kullanıyor?
Maskeleme, soldan sağa otoregresif oluşturma sırasını koruyarak her çıkış konumunun yalnızca önceki konumlara katılmasını sağlar.
Kod çözücüyü kodlayıcının temsillerine hangi mekanizma bağlar?
Çapraz dikkat, her kod çözücü katmanının kodlayıcının gizli durumlarını sorgulamasına olanak tanır ve girdinin anlaşılmasını çıktının oluşturulmasına bağlar.
Bu modellerden hangisi kodlayıcı-kod çözücü (sıradan diziye) mimarisidir?
T5 (ve BART), görevleri metinden metne olarak çerçeveleyen klasik kodlayıcı-kod çözücü modelleridir. BERT yalnızca kodlayıcıdır ve GPT-3 yalnızca kod çözücüdür.
Kodlayıcı-kod çözücü tasarımı neden çeviriye doğal bir uyum sağlıyor?
Çeviri bir diziyi farklı bir diziyle eşler, böylece kaynağın tamamını (kodlayıcı) okumak ve yeni bir hedef (kod çözücü) oluşturmak mükemmel uyum sağlar.