Encoder-Decoder Architectures
Encoder-decoder naqshadaha naqshadeeyayaasha waxay u kala qaybiyaan nashqada laba qaybood: mid akhriya oo ku cadaadiya wax gelinta matalaad gudaha ah oo qani ah, iyo mid ka soo saara wax soo saarkiisa.
Dulmar
This design powers translation, summarization, and any task where the input and output are different sequences.
quusid qoto dheer
Moodeelka-decoder-ka-qeybiyaha wuxuu u socodsiiyaa dhibaatada laba marxaladood. Codeeyuhu wuxuu akhriyaa dhammaan isku xigxiga gelinta (dheh, weedh Ingiriisi) oo u beddelaa qaybo ka mid ah macnaha guud ee qabta macnaha. Decoder-ku wuxuu markaas soo saaraa isku xigxiga soo-saarka (dheh, Faransiis) hal calaamad markiiba, isagoo dib u eegaya wax-soo-saarkiisii hore iyo matalaadda cod-bixiyaha. Transformer-kii asalka ahaa ee 2017 wuxuu ahaa cod-dejiyaha loo dhisay tarjumaada. Moodooyinka sida T5 iyo BART waxay u isticmaalaan qaabkan waxayna u qaabeeyaan hawl kasta sidii qoraal ahaan, qoraal ahaan. Kala qaybsanaantu waa xoog badan tahay sababta oo ah cod-bixiyehu waxa uu arki karaa gelinta oo dhan hal mar (xaqiiqda laba jiho), halka furaha uu soo saaro bidix-ilaa-midig. Tani waxay ka dhigaysaa naqshadda mid dabiici ah oo ku habboon dhibaatooyinka isdaba-joogga ah halkaasoo dhererka wax soo saarka iyo nuxurku ay ka duwan yihiin gelinta.
Aragtida Farsamada
Codeeyuhu waxa uu isticmaalaa is-fiirsi laba jiho ah, sidaa awgeed calaamad kasta oo wax gal ah waxa ay hal mar la tagtaa calaamad kasta. Decoder-ku waa autoregressive wuxuuna isticmaalaa is-fiirsasho daboolan, taasoo la micno ah in boos kasta uu arki karo oo keliya boosas hore si loo ilaaliyo jiilka sababa. Isku xirka iyaga waa feejignaan isdhaafsi ah: lakabyada decoder-ka ayaa waydiinaya codeeyaha goboladiisa qarsoon ee ugu dambeeya. Kala soocidaani waxay u ogolaaneysaa codeeyuhu inuu dhisto faham dhamaystiran, nidaam ku salaysan halka qalabeeyaha uu sameeyo hal calaamad markiiba.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Encoder-Decoder Architectures
Moodooyinka-kaliya-kaliya sida GPT hadda waxay xukumaan wada-sheekeysiga ujeedo-guud sababtoo ah hal xabbo ayaa si fudud u cabbira oo hawlo badan u qabata iyada oo la adeegsanayo dardargelin. Laakiin nashqadaha cod-dejiyayaashu way sii jiraan halka fahamka wax-gelinta iyo soo-saarku ay si dhab ah u kala duwan yihiin: aqoonsiga hadalka (Whisper), soo koobidda dukumeentiga, iyo hababka hab-dhaqameedka badan ee isku-xidha cod-bixiyaha aragga iyo furaha qoraalka. Filo qaab-dhismeedyada isku-dhafan ee soo amaahanaya fahamka laba-jiho ee encoder-ka ee soo-saarista iyo dejinta iyadoo la ilaalinayo dabacsanaanta cod-bixiyaha, gaar ahaan sida moodooyinka isku-duubaya qoraalka, maqalka, iyo sawirrada.
Dhaqangelinta Adduunka-dhabta ah
Google Turjumi oo DeepL adeegsataa beddelaadaha-dekodeerayaasha si ay jumlad hal luqad ah ugu sawirto mid kale.
OpenAI's Whisper waxay dejisaa spectrogram-yada maqalka waxayna u dejisaa qoraal la turjumay ama la turjumay.
T5 iyo BART awood soo koobid, isku ururinta maqaallo dhaadheer oo kooban.
Nidaamyada qoraalka sawirku waxay ku lammaaniyaan cod-bixiye aragti iyo cod-dere qoraal ah si loogu qeexo sawirrada erayo.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Encoder-Decoder Architectures quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Cross-Encoders vs Bi-Encoders
Su'aalaha soo noqnoqda
What is Encoder-Decoder Architectures?
Encoder-decoder naqshadaha naqshadeeyayaasha waxay u kala qaybiyaan nashqada laba qaybood: mid akhriya oo ku cadaadiya wax gelinta matalaad gudaha ah oo qani ah, iyo mid ka soo saara wax soo saarkiisa. Naqshadani waxay awood u siinaysaa tarjumaada, soo koobida, iyo hawl kasta oo wax gelinta iyo soo saarista ay yihiin taxane kala duwan.
Waa maxay shaqada ugu weyn ee cod-bixiyeha ku jira moodeel-decoder-gaabiyaha?
Codeeyuhu waxa uu cunaa dhammaan isku xigxiga soo gelista oo waxa uu soo saaraa vectors-ku-salaysan oo qabsanaya macnihiisa, kaas oo uu adeegsaduhu isticmaalo.
Muxuu cod-bixiyeyaashu u adeegsadaan is-fiirsashada (sababta) waji-xidhan?
Maaskaradu waxay hubisaa in boos kasta oo wax soo saar ahi uu tago boosas hore, isagoo ilaalinaya nidaamka jiilka autoregressive ee bidix-ilaa-midig.
Farsamaynkee ayaa isku xira furaha iyo matalaada codeeyaha?
Feejignaanta-is-dhaafsiga ah waxay u oggolaanaysaa lakab kasta oo dekodeeruhu inuu weydiiyo codeeyaha gobolladiisa qarsoon, isagoo ku xiraya fahamka gelinta iyo jiilka soo-saarka.
Midkee ka mid ah moodooyinkan waa encoder-decoder (isku xigxiga-ilaa-taxan) qaab dhismeedka?
T5 (iyo BART) waa moodooyin-kodeeye-kooxeed caadi ah oo u qaabeeya hawlo qoraal-u-qoraal ah. BERT waa encoder-kaliya GPT-3-na waa cod-dejiyaha-kaliya.
Waa maxay sababta nashqadeeyaha-decoder-ku uu ugu habboon yahay tarjumaada dabiiciga ah?
Turjumaadda waxay hal taxane u samaysaa mid kale, markaa akhrinta isha oo dhan (encoder) iyo abuurista bartilmaameed cusub (decoder) ayaa si fiican ugu habboon.