Attenzione a blocchi scarsi e nativa sparsa
L'attenzione scarsa a blocchi e nativa consente ai trasformatori di occuparsi solo delle parti più rilevanti di una lunga sequenza anziché di ogni token, riducendo drasticamente il costo quadratico dell'attenzione standard.
Panoramica
This is what makes efficient long-context models practical on real hardware.
Immersione profonda
L'autoattenzione standard confronta ogni token con ogni altro token, quindi il costo cresce quadraticamente con la lunghezza della sequenza, diventando proibitivo per documenti molto lunghi. L'attenzione scarsa limita ciascun token a un sottoinsieme di altri. Gli approcci a blocchi sparsi dividono la sequenza in blocchi e calcolano l'attenzione solo per coppie di blocchi selezionate, che si mappano in modo efficiente sui core tensoriali della GPU. Native Sparse Attention (NSA), di DeepSeek, va oltre: è addestrabile end-to-end e allineato all'hardware, combinando tre rami, compressione dei token a grana grossa, selezione a grana fine dei blocchi più importanti e una finestra scorrevole per il contesto locale. Poiché il modello di scarsità viene appreso durante il pre-allenamento anziché essere applicato successivamente, l'NSA preserva la precisione fornendo al tempo stesso grandi accelerazioni su sequenze lunghe.
Approfondimento tecnico
La NSA elabora chiavi e valori attraverso tre percorsi paralleli, quindi li unisce con porte apprese. La compressione aggrega blocchi di token in rappresentazioni riepilogative; la selezione assegna un punteggio ai blocchi e mantiene solo quelli con il punteggio più alto per la massima attenzione; una finestra scorrevole copre i gettoni vicini. Le operazioni a livello di blocco si allineano con l'accesso alla memoria della GPU e il throughput tensor-core, quindi i risparmi teorici del FLOP si traducono in accelerazioni reali sia durante l'addestramento che durante l'inferenza, in particolare per la fase di decodifica legata alla memoria.
Impatto strategico
Costo e budget
Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
Decisioni più chiare
La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
Controllo di qualità
Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.
Il futuro dell’attenzione a blocchi sparsi e nativa
La scarsità addestrabile e consapevole dell'hardware sta diventando il percorso verso un contesto da milioni di token senza costi esplosivi. Aspettatevi che la scarsa attenzione sia co-progettata con kernel e acceleratori, mescolata con idee di attenzione lineare e spazio degli stati e adottata in modelli di ragionamento e contesto lungo di frontiera. Man mano che i modelli diventano apprendibili e dinamici, i modelli allocheranno il budget di attenzione in modo adattivo per query e i benchmark misureranno sempre più il throughput di decodifica su sequenze lunghe, non solo sulla qualità grezza.
Implementazione nel mondo reale
Esecuzione di un modello su un'intera base di codice o su un lungo contratto legale in cui la piena attenzione esaurirebbe la memoria della GPU.
L'NSA di DeepSeek accelera sia il pre-addestramento che l'inferenza a lungo contesto, abbinando o battendo la precisione dell'attenzione totale.
Riepilogare documenti lunghi quanto un libro prestando attenzione ai riassunti compressi dei blocchi più passaggi rilevanti a livello locale.
Accelerazione degli assistenti di chat a lungo contesto la cui fase di decodifica è legata alla memoria limitando ciascun token ai blocchi di primo livello.
Rischi e guardrail
L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.
Tabella di marcia per l'implementazione
Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
Benchmark in condizioni di carico e dati realistiche.
Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Block-Sparse and Native Sparse Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Modelli di attenzione sparsi
Domande frequenti
What is Block-Sparse and Native Sparse Attention?
L'attenzione scarsa a blocchi e nativa consente ai trasformatori di occuparsi solo delle parti più rilevanti di una lunga sequenza anziché di ogni token, riducendo drasticamente il costo quadratico dell'attenzione standard. Questo è ciò che rende pratici i modelli efficienti a lungo contesto sull’hardware reale.
Perché l’autoattenzione standard è costosa per le lunghe sequenze?
Ogni token si occupa di ogni altro token, quindi il calcolo e la memoria si adattano al quadrato della lunghezza della sequenza.
Qual è l’idea centrale dell’attenzione a blocchi sparsi?
La sequenza è suddivisa in blocchi e l'attenzione viene calcolata solo per le coppie di blocchi scelte, che si mappano bene anche sui tensor core della GPU.
Cosa distingue la Native Sparse Attention (NSA) da molti metodi sparsi precedenti?
NSA apprende il modello di scarsità durante il pre-addestramento ed è progettato per allinearsi con l'hardware, in modo da preservare la precisione durante l'esecuzione veloce.
Quali tre rami unisce la NSA per le sue chiavi e valori?
NSA unisce la compressione grossolana dei token, la selezione dei blocchi a grana fine e una finestra scorrevole locale utilizzando porte apprese.
Perché la NSA utilizza operazioni a livello di blocco anziché una scarsità arbitraria a livello di token?
I modelli di accesso a livello di blocco si adattano all'hardware della GPU, quindi i risparmi FLOP teorici diventano accelerazioni effettive.