Il prossimoProssima guida
Modelli spaziali statali e Mamba
Fondamenti
GUIDA ALL'AI linguistica
Mamba è un modello di sequenza costruito su modelli dello spazio degli stati (SSM) che elabora il testo in tempo lineare, offrendo una rapida alternativa all'attenzione quadratica del Transformer.
Ascolta questa guidaNarrato dall'IA · ~2 min
Its key trick is making the model selectively decide what to remember and forget based on the input itself.
Mamba, introdotto da Albert Gu e Tri Dao alla fine del 2023, è costruito su modelli di spazio statale strutturato. Un SSM classico comprime l’intera storia di una sequenza in uno stato nascosto di dimensione fissa e la aggiorna passo dopo passo, come una sofisticata rete ricorrente. La svolta è la selettività: Mamba fa sì che i parametri dell’SSM (quanto mantenere, quanto lasciare entrare) dipendano dal token corrente, in modo che il modello possa concentrarsi sulle parole rilevanti e ignorare il riempitivo. Ciò consente a uno stato di dimensione fissa di agire come una memoria sensibile al contenuto. Poiché evita di confrontare ogni token con ogni altro token, Mamba si adatta linearmente alla lunghezza della sequenza e rimane veloce su input molto lunghi come genomi, audio o testo lungo quanto un libro.
Modellazione di sequenze di DNA estremamente lunghe in cui Transformer da milioni di token sono troppo costosi
Potenziamento di assistenti linguistici a lungo contesto che riassumono interi libri senza troncamenti
Generazione audio in tempo reale e modellazione vocale che elaborano in modo efficiente le forme d'onda grezze
Distribuzioni su dispositivo o edge in cui un piccolo stato ricorrente di dimensione fissa consente di risparmiare memoria rispetto a una crescente cache di attenzione
Mamba e il suo successore Mamba-2 si stanno spingendo verso architetture ibride che alternano pochi livelli di attenzione con molti livelli SSM, catturando i punti di forza di entrambi. Aspettatevi SSM negli assistenti a contesto lungo, modelli su dispositivo in cui la memoria è limitata e domini non testuali come DNA e audio. La ricerca sta indagando se gli SSM puri possano eguagliare i Transformers su attività che richiedono un richiamo preciso e se siano in grado di adattarsi alle dimensioni del modello più grandi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Mamba è un modello di sequenza costruito su modelli dello spazio degli stati (SSM) che elabora il testo in tempo lineare, offrendo una rapida alternativa all'attenzione quadratica del Transformer. Il suo trucco chiave è far sì che il modello decida selettivamente cosa ricordare e dimenticare in base all’input stesso.
Mamba evita il confronto dei token di tutte le coppie, quindi il suo costo cresce linearmente con la lunghezza della sequenza anziché quadraticamente come l'attenzione.
Selettività significa che parametri come B, C e delta diventano funzioni dell'input corrente, fornendo memoria sensibile al contenuto.
Gli SSM sono modelli di stile ricorrente che ripiegano il passato in uno stato di dimensione fissa, simile a una RNN.
La vista convoluzione richiede parametri fissi (invarianti nel tempo); i parametri dipendenti dall'input lo interrompono, quindi Mamba utilizza invece una scansione parallela.
Mamba utilizza una scansione selettiva basata sull'hardware che mantiene gli stati intermedi nella SRAM veloce per ripristinare il throughput.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Modelli spaziali statali e Mamba
Fondamenti