VolgendeVolgende gids
State Space-modellen en Mamba
Grondbeginselen
Taal AI-GIDS
Mamba is een sequentiemodel gebouwd op state space models (SSM's) dat tekst in lineaire tijd verwerkt en een snel alternatief biedt voor de kwadratische aandacht van de Transformer.
Luister naar deze gidsAI-verteld · ~2 min
De belangrijkste truc is om het model selectief te laten beslissen wat het moet onthouden en vergeten op basis van de invoer zelf.
Mamba, eind 2023 geïntroduceerd door Albert Gu en Tri Dao, is gebouwd op gestructureerde staatsruimtemodellen. Een klassieke SSM comprimeert de hele geschiedenis van een reeks in een verborgen staat van vaste grootte en werkt deze stap voor stap bij, zoals een geavanceerd terugkerend netwerk. De doorbraak is selectiviteit: Mamba laat de SSM-parameters (hoeveel te behouden, hoeveel binnen te laten) afhankelijk zijn van het huidige token, zodat het model zich kan concentreren op relevante woorden en de opvulling kan negeren. Hierdoor kan één toestand met een vaste grootte fungeren als inhoudsbewust geheugen. Omdat het vermijdt om elk token met elk ander token te vergelijken, schaalt Mamba lineair met de lengte van de reeks en blijft snel bij zeer lange invoer zoals genomen, audio of tekst in boeklengte.
Het modelleren van extreem lange DNA-sequenties waarbij Transformers met miljoenen tokens te duur zijn
Mogelijkheid tot taalassistenten met lange context die hele boeken samenvatten zonder afkapping
Realtime audiogeneratie en spraakmodellering die ruwe golfvormen efficiënt verwerken
Implementaties op het apparaat of aan de rand waarbij een kleine terugkerende status met een vaste grootte geheugen bespaart in plaats van een groeiende aandachtscache
Mamba en zijn opvolger Mamba-2 dringen aan op hybride architecturen die een paar aandachtslagen verweven met veel SSM-lagen, waardoor de sterke punten van beide worden vastgelegd. Verwacht SSM's in lange-contextassistenten, modellen op apparaten waarbij het geheugen beperkt is, en niet-tekstdomeinen zoals DNA en audio. Onderzoek onderzoekt of pure SSM's Transformers kunnen matchen bij taken die nauwkeurig moeten worden teruggeroepen, en of ze kunnen worden geschaald naar de grootste modelgroottes.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Mamba is een sequentiemodel gebouwd op state space models (SSM's) dat tekst in lineaire tijd verwerkt en een snel alternatief biedt voor de kwadratische aandacht van de Transformer. De belangrijkste truc is om het model selectief te laten beslissen wat het moet onthouden en vergeten op basis van de invoer zelf.
Mamba vermijdt tokenvergelijking met alle paren, dus de kosten groeien lineair met de reekslengte in plaats van kwadratisch zoals bij aandacht.
Selectiviteit betekent dat parameters zoals B, C en delta functies worden van de huidige invoer, waardoor inhoudsbewust geheugen ontstaat.
SSM's zijn modellen in terugkerende stijl die het verleden in een staat van vaste grootte vouwen, vergelijkbaar met een RNN.
De convolutieweergave vereist vaste (tijdsinvariante) parameters; invoerafhankelijke parameters breken dat, dus gebruikt Mamba in plaats daarvan een parallelle scan.
Mamba maakt gebruik van een hardwarebewuste selectieve scan die tussenliggende toestanden in snelle SRAM behoudt om de doorvoer te herstellen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
State Space-modellen en Mamba
Grondbeginselen