Encoder-Decoder Architectures
Awọn faaji-iyipada koodu ṣe pin awoṣe kan si awọn ida meji: ọkan ti o ka ati ṣe titẹ titẹ sii sinu aṣoju inu ọlọrọ, ati ọkan ti o ṣe agbejade abajade lati ọdọ rẹ.
Akopọ
Apẹrẹ yii ṣe agbara itumọ, akopọ, ati eyikeyi iṣẹ-ṣiṣe nibiti titẹ sii ati iṣelọpọ jẹ awọn ilana oriṣiriṣi.
Jin Dive
Awoṣe koodu-iyipada kan ṣe ilana iṣoro ni awọn ipele meji. Awọn kooduopo kika gbogbo ọna titẹ sii (sọ, gbolohun ọrọ Gẹẹsi) o si yi pada si akojọpọ awọn ọna asọye ti o gba itumọ. Olupilẹṣẹ lẹhinna ṣe agbejade ọna abajade (sọ, Faranse) ami ami kan ni akoko kan, ti n wo sẹhin ni awọn abajade iṣaaju tirẹ ati ni awọn aṣoju kooduopo. Oluyipada 2017 atilẹba jẹ koodu koodu-iyipada ti a ṣe fun itumọ. Awọn awoṣe bi T5 ati BART lo apẹrẹ yii ati fireemu gbogbo iṣẹ-ṣiṣe bi ọrọ-sinu, ọrọ-jade. Pipin naa lagbara nitori pe kooduopo le rii gbogbo titẹ sii ni ẹẹkan (itọka bidirectional), lakoko ti oluyipada ṣe ipilẹṣẹ osi-si-ọtun. Eyi jẹ ki apẹrẹ jẹ ibamu adayeba fun awọn iṣoro-tẹle-si-tẹle nibiti ipari ipari ati akoonu yatọ si titẹ sii.
Imọ-imọ-ẹrọ
Awọn kooduopo naa nlo akiyesi ara ẹni bidirectional, nitorinaa gbogbo ami titẹ sii wa si gbogbo ami ami miiran ni ẹẹkan. Awọn decoder jẹ autoregressive ati ki o nlo boju-boju ara akiyesi, afipamo kọọkan ipo le nikan ri sẹyìn awọn ipo lati se itoju fa iran. Sisopọ wọn jẹ akiyesi-agbelebu: awọn ipele decoder ibeere awọn ipinlẹ ti o farapamọ ipari koodu koodu. Iyapa yii jẹ ki koodu koodu kọ pipe, oye ominira-aṣẹ nigba ti oluyipada ṣe si ami kan ni akoko kan.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Encoder-Decoder Architectures
Awọn awoṣe Decoder-nikan bi GPT ni bayi jẹ gaba lori iwiregbe idi-gbogboogbo nitori pe akopọ kan ṣoṣo ni irọrun ati mu ọpọlọpọ awọn iṣẹ ṣiṣe nipasẹ ṣiṣe. Ṣugbọn awọn apẹrẹ koodu-iyipada ṣi duro nibiti oye titẹ sii ati iran iṣelọpọ jẹ iyatọ nitootọ: idamọ ọrọ (whisper), akopọ iwe, ati awọn ọna ṣiṣe multimodal ti o n so koodu koodu iran kan pọ pẹlu oluyipada ọrọ. Reti awọn ile ayaworan arabara ti o yawo oye bidirectional kooduopo fun igbapada ati ilẹ lakoko titọju irọrun decoder, ni pataki bi awọn awoṣe fiusi ọrọ, ohun, ati awọn aworan.
Real-World imuse
Google Tumọ ati DeepL lo awọn Ayirapada-iyipada koodu lati ya aworan gbolohun kan ni ede kan si ekeji.
OpenAI's Whisper ṣe koodu awọn iwoye ohun afetigbọ o si sọ wọn di koodu ti a kọ tabi ti a tumọ.
T5 ati BART agbara akopọ abstractive, condensing gun ìwé sinu kukuru kukuru.
Awọn ọna ṣiṣe ifori aworan so kooduopo iran kan pọ pẹlu oluyipada ọrọ lati ṣapejuwe awọn fọto ni awọn ọrọ.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Encoder-Decoder Architectures quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Cross-Encoders vs Bi-Encoders
Awọn ibeere ti a beere nigbagbogbo
Kini Encoder-Decoder Architectures?
Awọn faaji-iyipada koodu ṣe pin awoṣe kan si awọn ida meji: ọkan ti o ka ati ṣe titẹ titẹ sii sinu aṣoju inu ọlọrọ, ati ọkan ti o ṣe agbejade abajade lati ọdọ rẹ. Apẹrẹ yii ṣe agbara itumọ, akopọ, ati iṣẹ-ṣiṣe eyikeyi nibiti titẹ sii ati iṣelọpọ jẹ awọn ọna oriṣiriṣi.
Kini iṣẹ akọkọ ti kooduopo ni awoṣe koodu-iyipada kan?
Awọn kooduopo n gba gbogbo ọna titẹ sii ati ṣe agbejade awọn abala ọrọ-ọrọ ti o mu itumọ rẹ mu, eyiti oluyipada naa nlo.
Kilode ti olupilẹṣẹ ṣe lo boju-boju (okunfa) akiyesi ara ẹni?
Masking ṣe idaniloju ipo iṣelọpọ kọọkan nikan wa si awọn ipo iṣaaju, titoju aṣẹ iran autoregressive ti osi-si-ọtun.
Ilana wo ni o so kooduopo pọ mọ awọn aṣoju kooduopo?
Ifarabalẹ-agbelebu jẹ ki Layer decoder kọọkan ṣe ibeere awọn ipinlẹ ti o farapamọ koodu koodu, sisopọ oye ti igbewọle si iran ti iṣelọpọ.
Eyi ti awọn awoṣe jẹ ẹya kooduopo-decoder (akọọkan-si-ọkọọkan) faaji?
T5 (ati BART) jẹ awọn awoṣe encoder-decoder Ayebaye ti o ṣe awọn iṣẹ ṣiṣe bi ọrọ-si-ọrọ. BERT jẹ encoder-nikan ati GPT-3 jẹ decoder-nikan.
Kini idi ti apẹrẹ koodu-iyipada jẹ ibamu adayeba fun itumọ?
Awọn maapu itumọ ni ọna kan si ọkan ti o yatọ, nitorinaa kika gbogbo orisun (apoti) ati ṣiṣẹda ibi-afẹde tuntun (oluyipada) baamu ni pipe.