Il prossimoProssima guida
Modelli di attenzione sparsi
Intelligenza artificiale linguistica
GUIDA TECNICA
L'attenzione scarsa a blocchi e nativa consente ai trasformatori di occuparsi solo delle parti più rilevanti di una lunga sequenza anziché di ogni token, riducendo drasticamente il costo quadratico dell'attenzione standard.
Ascolta questa guidaNarrato dall'IA · ~2 min
This is what makes efficient long-context models practical on real hardware.
L'autoattenzione standard confronta ogni token con ogni altro token, quindi il costo cresce quadraticamente con la lunghezza della sequenza, diventando proibitivo per documenti molto lunghi. L'attenzione scarsa limita ciascun token a un sottoinsieme di altri. Gli approcci a blocchi sparsi dividono la sequenza in blocchi e calcolano l'attenzione solo per coppie di blocchi selezionate, che si mappano in modo efficiente sui core tensoriali della GPU. Native Sparse Attention (NSA), di DeepSeek, va oltre: è addestrabile end-to-end e allineato all'hardware, combinando tre rami, compressione dei token a grana grossa, selezione a grana fine dei blocchi più importanti e una finestra scorrevole per il contesto locale. Poiché il modello di scarsità viene appreso durante il pre-allenamento anziché essere applicato successivamente, l'NSA preserva la precisione fornendo al tempo stesso grandi accelerazioni su sequenze lunghe.
Esecuzione di un modello su un'intera base di codice o su un lungo contratto legale in cui la piena attenzione esaurirebbe la memoria della GPU.
L'NSA di DeepSeek accelera sia il pre-addestramento che l'inferenza a lungo contesto, abbinando o battendo la precisione dell'attenzione totale.
Riepilogare documenti lunghi quanto un libro prestando attenzione ai riassunti compressi dei blocchi più passaggi rilevanti a livello locale.
Accelerazione degli assistenti di chat a lungo contesto la cui fase di decodifica è legata alla memoria limitando ciascun token ai blocchi di primo livello.
La scarsità addestrabile e consapevole dell'hardware sta diventando il percorso verso un contesto da milioni di token senza costi esplosivi. Aspettatevi che la scarsa attenzione sia co-progettata con kernel e acceleratori, mescolata con idee di attenzione lineare e spazio degli stati e adottata in modelli di ragionamento e contesto lungo di frontiera. Man mano che i modelli diventano apprendibili e dinamici, i modelli allocheranno il budget di attenzione in modo adattivo per query e i benchmark misureranno sempre più il throughput di decodifica su sequenze lunghe, non solo sulla qualità grezza.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'attenzione scarsa a blocchi e nativa consente ai trasformatori di occuparsi solo delle parti più rilevanti di una lunga sequenza anziché di ogni token, riducendo drasticamente il costo quadratico dell'attenzione standard. Questo è ciò che rende pratici i modelli efficienti a lungo contesto sull’hardware reale.
Ogni token si occupa di ogni altro token, quindi il calcolo e la memoria si adattano al quadrato della lunghezza della sequenza.
La sequenza è suddivisa in blocchi e l'attenzione viene calcolata solo per le coppie di blocchi scelte, che si mappano bene anche sui tensor core della GPU.
NSA apprende il modello di scarsità durante il pre-addestramento ed è progettato per allinearsi con l'hardware, in modo da preservare la precisione durante l'esecuzione veloce.
NSA unisce la compressione grossolana dei token, la selezione dei blocchi a grana fine e una finestra scorrevole locale utilizzando porte apprese.
I modelli di accesso a livello di blocco si adattano all'hardware della GPU, quindi i risparmi FLOP teorici diventano accelerazioni effettive.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Modelli di attenzione sparsi
Intelligenza artificiale linguistica