Up tókànItọsọna atẹle
State Space Models ati Mamba
Awọn ipilẹ
Èdè AI Itọsọna
Mamba ati Yan State Spaces
Mamba jẹ awoṣe ọkọọkan ti a ṣe lori awọn awoṣe aaye aaye ipinlẹ (SSMs) ti o ṣe ilana ọrọ ni akoko laini, nfunni ni yiyan yiyara si akiyesi kuadiratiki Amunawa.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Ẹtan bọtini rẹ jẹ ṣiṣe awoṣe yiyan pinnu kini lati ranti ati gbagbe da lori titẹ sii funrararẹ.
Jin Dive
Mamba, ti a ṣe nipasẹ Albert Gu ati Tri Dao ni ipari 2023, jẹ itumọ lori awọn awoṣe aaye ipo ti iṣeto. SSM Ayebaye kan ṣe akopọ gbogbo itan-akọọlẹ ti ọkọọkan sinu ipo ti o farapamọ iwọn ti o wa titi ati ṣe imudojuiwọn ni igbesẹ nipasẹ igbese, bii nẹtiwọọki loorekoore fafa. Aṣeyọri ni yiyan: Mamba jẹ ki awọn aye SSM (bii iye lati tọju, melo ni lati jẹ ki wọle) da lori ami ti isiyi, nitorinaa awoṣe le dojukọ awọn ọrọ ti o yẹ ati foju kikun. Eyi jẹ ki ipinlẹ iwọn-iwọn kan ṣiṣẹ bi iranti-mọ akoonu. Nitoripe o yago fun ifiwera gbogbo ami ami si gbogbo ami ami miiran, Mamba ṣe iwọn laini pẹlu gigun ọkọọkan ati duro ni iyara lori awọn igbewọle gigun pupọ bii awọn genomes, ohun ohun, tabi ọrọ gigun iwe.
Real-World imuse
Awoṣe lalailopinpin gun DNA lesese ibi ti milionu-àmi Ayirapada wa ni gbowolori ju
Agbara awọn oluranlọwọ ede ọrọ-ọrọ gigun ti o ṣe akopọ gbogbo awọn iwe laisi gige
Iran ohun afetigbọ akoko-gidi ati awoṣe ọrọ ti o ṣe ilana awọn ọna igbi aise daradara
Lori ẹrọ tabi awọn imuṣiṣẹ eti nibiti ipo loorekoore iwọn kekere ti o wa titi ṣe fipamọ iranti dipo kaṣe akiyesi ti ndagba
Ojo iwaju ti Mamba ati Awọn aaye Ipinle Yan
Mamba ati arọpo rẹ Mamba-2 n titari si awọn ile-iṣọ arabara ti o fa awọn ipele akiyesi diẹ pẹlu ọpọlọpọ awọn fẹlẹfẹlẹ SSM, yiya awọn agbara ti awọn mejeeji. Reti awọn SSM ni awọn oluranlọwọ ọrọ-ọrọ gigun, awọn awoṣe ẹrọ nibiti iranti ti ni ihamọ, ati awọn ibugbe ti kii ṣe ọrọ bi DNA ati ohun. Iwadi n ṣe iwadii boya awọn SSM mimọ le baamu Awọn Ayirapada lori awọn iṣẹ ṣiṣe ti o nilo iranti pipe, ati boya wọn ṣe iwọn si awọn iwọn awoṣe ti o tobi julọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iyara ati iwọn. Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
- Wiwọle ati arọwọto. O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
- Awọn ipinnu diẹ sii. Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ṣọra fun
- Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
- Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
- Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Next awọn igbesẹ
- Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
- Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
- Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
- Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Mamba and Selective State Spaces quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Mamba ati Awọn aaye Ipinle Yiyan?
Mamba jẹ awoṣe ọkọọkan ti a ṣe lori awọn awoṣe aaye aaye ipinlẹ (SSMs) ti o ṣe ilana ọrọ ni akoko laini, nfunni ni yiyan yiyara si akiyesi kuadiratiki Amunawa. Ẹtan bọtini rẹ jẹ ṣiṣe awoṣe yiyan pinnu kini lati ranti ati gbagbe da lori titẹ sii funrararẹ.
Kini anfani iṣiro akọkọ ti Mamba lori Amunawa boṣewa?
Mamba yago fun afiwe gbogbo awọn orisii meji, nitorinaa idiyele rẹ dagba laini pẹlu gigun ọkọọkan kuku ju quadratically bi akiyesi.
Kini ọrọ 'aṣayan' tọka si ni Mamba?
Yiyan tumọ si awọn paramita bii B, C, ati delta di awọn iṣẹ ti titẹ sii lọwọlọwọ, fifun iranti-mọ akoonu.
Bawo ni awoṣe aaye aaye kan ṣe aṣoju itan ti ọkọọkan kan?
Awọn SSM jẹ awọn awoṣe ara loorekoore ti o ṣe agbo awọn ti o ti kọja sinu ipo iwọn ti o wa titi, iru si RNN kan.
Kilode ti Mamba ko le lo ọna abuja convolution iyara ti awọn SSM iṣaaju lo?
Wiwo convolution nilo awọn aye ti o wa titi (akoko-ayipada); Awọn paramita ti o gbẹkẹle igbewọle fọ iyẹn, nitorinaa Mamba lo ọlọjẹ ti o jọra dipo.
Ilana wo ni Mamba nlo lati duro ni iyara laibikita sisọnu ọna abuja convolution?
Mamba nlo ọlọjẹ yiyan ohun elo ti o mọ ohun elo ti o tọju awọn ipinlẹ agbedemeji ni SRAM ti o yara lati gba iṣelọpọ pada.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii