GUIDA TECNICA

Attenzione a blocchi scarsi e nativa sparsa

L'attenzione scarsa a blocchi e nativa consente ai trasformatori di occuparsi solo delle parti più rilevanti di una lunga sequenza anziché di ogni token, riducendo drasticamente il costo quadratico dell'attenzione standard.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro dell’attenzione a blocchi sparsi e nativa
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

This is what makes efficient long-context models practical on real hardware.

Immersione profonda

L'autoattenzione standard confronta ogni token con ogni altro token, quindi il costo cresce quadraticamente con la lunghezza della sequenza, diventando proibitivo per documenti molto lunghi. L'attenzione scarsa limita ciascun token a un sottoinsieme di altri. Gli approcci a blocchi sparsi dividono la sequenza in blocchi e calcolano l'attenzione solo per coppie di blocchi selezionate, che si mappano in modo efficiente sui core tensoriali della GPU. Native Sparse Attention (NSA), di DeepSeek, va oltre: è addestrabile end-to-end e allineato all'hardware, combinando tre rami, compressione dei token a grana grossa, selezione a grana fine dei blocchi più importanti e una finestra scorrevole per il contesto locale. Poiché il modello di scarsità viene appreso durante il pre-allenamento anziché essere applicato successivamente, l'NSA preserva la precisione fornendo al tempo stesso grandi accelerazioni su sequenze lunghe.

Implementazione nel mondo reale

Esecuzione di un modello su un'intera base di codice o su un lungo contratto legale in cui la piena attenzione esaurirebbe la memoria della GPU.

L'NSA di DeepSeek accelera sia il pre-addestramento che l'inferenza a lungo contesto, abbinando o battendo la precisione dell'attenzione totale.

Riepilogare documenti lunghi quanto un libro prestando attenzione ai riassunti compressi dei blocchi più passaggi rilevanti a livello locale.

Accelerazione degli assistenti di chat a lungo contesto la cui fase di decodifica è legata alla memoria limitando ciascun token ai blocchi di primo livello.

Il futuro dell’attenzione a blocchi sparsi e nativa

La scarsità addestrabile e consapevole dell'hardware sta diventando il percorso verso un contesto da milioni di token senza costi esplosivi. Aspettatevi che la scarsa attenzione sia co-progettata con kernel e acceleratori, mescolata con idee di attenzione lineare e spazio degli stati e adottata in modelli di ragionamento e contesto lungo di frontiera. Man mano che i modelli diventano apprendibili e dinamici, i modelli allocheranno il budget di attenzione in modo adattivo per query e i benchmark misureranno sempre più il throughput di decodifica su sequenze lunghe, non solo sulla qualità grezza.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Block-Sparse and Native Sparse Attention quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Block-Sparse and Native Sparse Attention?

L'attenzione scarsa a blocchi e nativa consente ai trasformatori di occuparsi solo delle parti più rilevanti di una lunga sequenza anziché di ogni token, riducendo drasticamente il costo quadratico dell'attenzione standard. Questo è ciò che rende pratici i modelli efficienti a lungo contesto sull’hardware reale.

Perché l’autoattenzione standard è costosa per le lunghe sequenze?

Ogni token si occupa di ogni altro token, quindi il calcolo e la memoria si adattano al quadrato della lunghezza della sequenza.

Qual è l’idea centrale dell’attenzione a blocchi sparsi?

La sequenza è suddivisa in blocchi e l'attenzione viene calcolata solo per le coppie di blocchi scelte, che si mappano bene anche sui tensor core della GPU.

Cosa distingue la Native Sparse Attention (NSA) da molti metodi sparsi precedenti?

NSA apprende il modello di scarsità durante il pre-addestramento ed è progettato per allinearsi con l'hardware, in modo da preservare la precisione durante l'esecuzione veloce.

Quali tre rami unisce la NSA per le sue chiavi e valori?

NSA unisce la compressione grossolana dei token, la selezione dei blocchi a grana fine e una finestra scorrevole locale utilizzando porte apprese.

Perché la NSA utilizza operazioni a livello di blocco anziché una scarsità arbitraria a livello di token?

I modelli di accesso a livello di blocco si adattano all'hardware della GPU, quindi i risparmi FLOP teorici diventano accelerazioni effettive.