Il prossimoProssima guida
Attenzione a blocchi scarsi e nativa sparsa
Tecnico
GUIDA ALL'AI linguistica
La scarsa attenzione rende i Transformers più economici consentendo a ciascun token di occuparsi solo di un sottoinsieme di altri token scelti con cura anziché di tutti.
Ascolta questa guidaNarrato dall'IA · ~2 min
Ciò scambia una piccola portata globale con grandi risparmi in memoria e calcoli su lunghe sequenze.
La piena autoattenzione confronta ogni token con ogni altro token, quindi il costo cresce con il quadrato della lunghezza della sequenza, il che diventa doloroso per i documenti lunghi. L'attenzione sparsa sostituisce lo schema denso con uno strutturato. I progetti comuni includono l'attenzione (locale) della finestra scorrevole, in cui ogni token vede solo i vicini vicini; schemi a passi o dilatati che saltano in avanti per raggiungere a buon mercato contesti distanti; e token globali, alcune posizioni speciali che si occupano di tutto e a cui tutto si occupa, fungendo da hub di informazione. Modelli come Longformer, BigBird e Sparse Transformer li combinano in modo che il numero totale di connessioni cresca in modo più o meno lineare anziché quadratico, consentendo contesti da migliaia a decine di migliaia di token.
Elaborazione di interi articoli scientifici o documenti legali in un unico passaggio utilizzando la finestra scorrevole e l'attenzione globale
BigBird gestisce risposte a domande su documenti lunghi e sequenze genomiche con attenzione su scala lineare
Riepilogo di un testo lungo un libro in cui la massima attenzione esaurirebbe la memoria della GPU
Sistemi di chat di recupero e contesto lungo che utilizzano token hub globali per instradare le informazioni chiave attraverso migliaia di token
L'attenzione scarsa rimane centrale nella modellazione a lungo contesto, sempre più abbinata a kernel ottimizzati come FlashAttention e con la scarsità appresa o dinamica che sceglie a quali token prestare attenzione per input. Poiché le finestre di contesto si estendono verso milioni di token, gli stack ibridi mescolano livelli sparsi, densi e spazio-stato. Aspettatevi kernel sparsi sensibili all'hardware e attenzione basata sul routing per continuare a ridurre il costo della lettura di input molto lunghi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La scarsa attenzione rende i Transformers più economici consentendo a ciascun token di occuparsi solo di un sottoinsieme di altri token scelti con cura anziché di tutti. Ciò scambia una piccola portata globale con grandi risparmi in memoria e calcoli su lunghe sequenze.
L'attenzione completa confronta ogni token con ogni altro token, fornendo un costo O (N al quadrato) in tempo e memoria.
L'attenzione locale limita la visione di ciascun token a una finestra fissa di token circostanti, riducendo drasticamente i costi.
Alcuni token globali si collegano a tutte le posizioni, consentendo alle informazioni di fluire attraverso l'intera sequenza in modo economico.
BigBird ha dimostrato che il suo modello sparso è un approssimatore universale di funzioni di sequenza mentre si ridimensiona in modo approssimativamente lineare.
Limitando le connessioni alle finestre locali più alcuni collegamenti globali, le connessioni totali crescono in modo lineare.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Attenzione a blocchi scarsi e nativa sparsa
Tecnico