Ọkọọkan-si-Ọkọọkan Models
Awọn awoṣe lẹsẹsẹ-si-tẹle ṣe maapu ọna kan si omiran ti o ṣee ṣe gigun ti o yatọ, bii itumọ gbolohun kan tabi akopọ iwe-ipamọ kan.
Akopọ
They introduced the encoder-decoder design and the attention mechanism that paved the way for the Transformer.
Jin Dive
Awoṣe ọkọọkan-si-tẹle (seq2seq) ni awọn ẹya meji: koodu koodu ti o ka ọna titẹ sii ti o si rọpọ itumọ rẹ, ati oluyipada ti o ṣe agbejade ọkọọkan ti o jade ni ami kan ni akoko kan. Iṣẹ 2014 ala-ilẹ nipasẹ Sutskever, Vinyals, ati Le lo awọn LSTM tolera fun itumọ ẹrọ. Ailagbara kan farahan: sisọ odidi gbolohun kan sinu fekito ipari gigun kan ti o padanu alaye lori awọn igbewọle gigun. Ni ọdun 2015 Bahdanau ṣe akiyesi akiyesi, jẹ ki oluyipada naa wo ẹhin ni gbogbo awọn ipinlẹ encoder ki o dojukọ awọn ti o wulo julọ fun ọrọ igbejade kọọkan. Èyí yanjú ọrùn ìgò náà ó sì mú ìtúmọ̀ dára síi lọ́pọ̀lọpọ̀. Ero naa ṣe akopọ si eyikeyi iṣẹ-ṣiṣe-si-jade ọrọ kikọ ati atilẹyin taara ti Ayipada ni kikun faaji akiyesi ara ẹni ni 2017.
Imọ-imọ-ẹrọ
Awọn kooduopo fun wa kan ọkọọkan ti farasin ipinle; decoder n ṣe agbejade awọn abajade laifọwọyi, ni ilodi si lori awọn abajade iṣaaju ati ipo koodu koodu. Ifarabalẹ ṣe iṣiro apao iwuwo ti awọn ipinlẹ kooduopo nipa lilo awọn ikun titete, nitorinaa igbesẹ iyipada kọọkan fa fekito ọrọ ọrọ aṣa. Eleyi decouples o wu ipari lati kan nikan bottleneck fekito ati ki o pese a asọ titete laarin igbewọle ati wu awọn ipo, eyi ti o jẹ tun interpretable bi eyi ti orisun awọn ọrọ lé kọọkan túmọ ọrọ.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Awọn awoṣe Atẹle-si-tẹle
Seq2seq ode oni jẹ gaba lori nipasẹ awọn awoṣe oluyipada koodu iyipada bi T5 ati BART, eyiti o fẹrẹẹ jẹ gbogbo iṣẹ-ṣiṣe NLP bi ọrọ-si-ọrọ. Seq2seq ti o da lori RNN jẹ itan pupọju, ṣugbọn apẹẹrẹ koodu-decoder ṣe rere ni itumọ, akopọ, ati idanimọ ọrọ. Reti idagbasoke idagbasoke ni multilingual ati multimodal seq2seq awọn ọna ṣiṣe, pẹlu awọn anfani ṣiṣe lati awọn ti kii ṣe autoregressive ati awọn decoders distilled ti o njade awọn abajade ni iyara lakoko titọju didara.
Real-World imuse
Awọn ọna ṣiṣe itumọ ẹrọ ti n yi awọn gbolohun ọrọ Gẹẹsi pada si Faranse tabi Japanese.
Akopọ ọrọ abstractive ti o tun awọn nkan gigun kọ sinu awọn akopọ kukuru.
Iyaworan idanimọ ọrọ ni ọna ọna igbi ohun ohun si kikowe ọrọ.
Chatbot ati awọn ọna ṣiṣe ifọrọwerọ ti o ya aworan ọrọ olumulo kan si esi ti ipilẹṣẹ.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sequence-to-Sequence Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Fi agbara mu Olukọni ni Awọn awoṣe Ọkọọkan
Awọn ibeere ti a beere nigbagbogbo
What is Sequence-to-Sequence Models?
Awọn awoṣe lẹsẹsẹ-si-tẹle ṣe maapu ọna kan si omiran ti o ṣee ṣe gigun ti o yatọ, bii itumọ gbolohun kan tabi akopọ iwe-ipamọ kan. Wọn ṣafihan apẹrẹ koodu-decoder ati ẹrọ akiyesi ti o pa ọna fun Amunawa.
Kini awọn paati akọkọ meji ti awoṣe lẹsẹsẹ-si-tẹle?
Ayipada koodu kika ati funmorawon titẹ sii, ati oluyipada kan n ṣe agbejade ọkọọkan.
Iṣoro bọtini wo ni ẹrọ akiyesi yanju ni awọn awoṣe seq2seq?
Ifarabalẹ jẹ ki olupilẹṣẹ wọle si gbogbo awọn ipinlẹ kooduopo dipo gbigbe ara lori fekito fisinuirindigbindigbin kan, titunṣe iṣẹ ṣiṣe gbolohun ọrọ gigun.
Kini faaji ti atilẹba 2014 seq2seq awoṣe itumọ lo?
Sutskever et al. ti a lo tolera LSTM awọn nẹtiwọọki loorekoore fun koodu koodu ati oluyipada.
Bawo ni ifarabalẹ ṣe kọ ọrọ-ọrọ fun igbesẹ iyipada kọọkan?
Ifarabalẹ ṣe ipinnu awọn iwuwo si awọn ipinlẹ koodu koodu nitoribẹẹ igbesẹ igbejade kọọkan dojukọ awọn ipo igbewọle to wulo julọ.
Kini idi ti awọn abajade seq2seq le yato ni gigun lati awọn igbewọle?
Decoder n ṣe ipilẹṣẹ adaṣe ati pe o le da duro ni ami-ipin-ipari, ti o ngbanilaaye ipari abajade oniyipada.