Mamba ati Yan State Spaces
Mamba jẹ awoṣe ọkọọkan ti a ṣe lori awọn awoṣe aaye aaye ipinlẹ (SSMs) ti o ṣe ilana ọrọ ni akoko laini, nfunni ni yiyan yiyara si akiyesi kuadiratiki Amunawa.
Akopọ
Its key trick is making the model selectively decide what to remember and forget based on the input itself.
Jin Dive
Mamba, ti a ṣe nipasẹ Albert Gu ati Tri Dao ni ipari 2023, jẹ itumọ lori awọn awoṣe aaye ipo ti iṣeto. SSM Ayebaye kan ṣe akopọ gbogbo itan-akọọlẹ ti ọkọọkan sinu ipo ti o farapamọ iwọn ti o wa titi ati ṣe imudojuiwọn ni igbesẹ nipasẹ igbese, bii nẹtiwọọki loorekoore fafa. Aṣeyọri ni yiyan: Mamba jẹ ki awọn aye SSM (bii iye lati tọju, melo ni lati jẹ ki wọle) da lori ami ti isiyi, nitorinaa awoṣe le dojukọ awọn ọrọ ti o yẹ ati foju kikun. Eyi jẹ ki ipinlẹ iwọn-iwọn kan ṣiṣẹ bi iranti-mọ akoonu. Nitoripe o yago fun ifiwera gbogbo ami ami si gbogbo ami ami miiran, Mamba ṣe iwọn laini pẹlu gigun ọkọọkan ati duro ni iyara lori awọn igbewọle gigun pupọ bii awọn genomes, ohun ohun, tabi ọrọ gigun iwe.
Imọ-imọ-ẹrọ
Awoṣe aaye ipo ipinlẹ maapu ọna titẹ sii si ọnajade nipasẹ eto laini lemọlemọfún asọye nipasẹ awọn matiri A, B, C ati iwọn iwọn igbesẹ kan delta. Awọn SSM iṣaaju tọju iwọnyi ti o wa titi, ngbanilaaye wiwo convolution ni iyara. Mamba makes B, C, and delta functions of the input, which breaks the convolution shortcut, so it instead uses a hardware-aware parallel scan kept in fast GPU SRAM to recover speed while gaining input-dependent memory.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Mamba ati Awọn aaye Ipinle Yan
Mamba ati arọpo rẹ Mamba-2 n titari si awọn ile-iṣọ arabara ti o fa awọn ipele akiyesi diẹ pẹlu ọpọlọpọ awọn fẹlẹfẹlẹ SSM, yiya awọn agbara ti awọn mejeeji. Reti awọn SSM ni awọn oluranlọwọ ọrọ-ọrọ gigun, awọn awoṣe ẹrọ nibiti iranti ti ni ihamọ, ati awọn ibugbe ti kii ṣe ọrọ bi DNA ati ohun. Iwadi n ṣe iwadii boya awọn SSM mimọ le baamu Awọn Ayirapada lori awọn iṣẹ ṣiṣe ti o nilo iranti pipe, ati boya wọn ṣe iwọn si awọn iwọn awoṣe ti o tobi julọ.
Real-World imuse
Awoṣe lalailopinpin gun DNA lesese ibi ti milionu-àmi Ayirapada wa ni gbowolori ju
Agbara awọn oluranlọwọ ede ọrọ-ọrọ gigun ti o ṣe akopọ gbogbo awọn iwe laisi gige
Iran ohun afetigbọ akoko-gidi ati awoṣe ọrọ ti o ṣe ilana awọn ọna igbi aise daradara
Lori ẹrọ tabi awọn imuṣiṣẹ eti nibiti ipo loorekoore iwọn kekere ti o wa titi ṣe fipamọ iranti dipo kaṣe akiyesi ti ndagba
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mamba and Selective State Spaces quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
State Space Models ati Mamba
Awọn ibeere ti a beere nigbagbogbo
What is Mamba and Selective State Spaces?
Mamba jẹ awoṣe ọkọọkan ti a ṣe lori awọn awoṣe aaye aaye ipinlẹ (SSMs) ti o ṣe ilana ọrọ ni akoko laini, nfunni ni yiyan yiyara si akiyesi kuadiratiki Amunawa. Ẹtan bọtini rẹ jẹ ṣiṣe awoṣe yiyan pinnu kini lati ranti ati gbagbe da lori titẹ sii funrararẹ.
Kini anfani iṣiro akọkọ ti Mamba lori Amunawa boṣewa?
Mamba yago fun afiwe gbogbo awọn orisii meji, nitorinaa idiyele rẹ dagba laini pẹlu gigun ọkọọkan kuku ju quadratically bi akiyesi.
Kini ọrọ 'aṣayan' tọka si ni Mamba?
Yiyan tumọ si awọn paramita bii B, C, ati delta di awọn iṣẹ ti titẹ sii lọwọlọwọ, fifun iranti-mọ akoonu.
Bawo ni awoṣe aaye aaye kan ṣe aṣoju itan ti ọkọọkan kan?
Awọn SSM jẹ awọn awoṣe ara loorekoore ti o ṣe agbo awọn ti o ti kọja sinu ipo iwọn ti o wa titi, iru si RNN kan.
Kilode ti Mamba ko le lo ọna abuja convolution iyara ti awọn SSM iṣaaju lo?
Wiwo convolution nilo awọn aye ti o wa titi (akoko-ayipada); Awọn paramita ti o gbẹkẹle igbewọle fọ iyẹn, nitorinaa Mamba lo ọlọjẹ ti o jọra dipo.
Ilana wo ni Mamba nlo lati duro ni iyara laibikita sisọnu ọna abuja convolution?
Mamba nlo ọlọjẹ yiyan ohun elo ti o mọ ohun elo ti o tọju awọn ipinlẹ agbedemeji ni SRAM ti o yara lati gba iṣelọpọ pada.