Il prossimoProssima guida
Aggregazione di miscele di agenti
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Mixture of Depths (MoD) consente a un trasformatore di spendere quantità diverse di calcolo su token diversi, instradando solo i token "importanti" attraverso il calcolo pesante di ciascun livello.
Ascolta questa guidaNarrato dall'IA · ~2 min
It cuts the cost of processing easy tokens while keeping a fixed, predictable compute budget.
I trasformatori standard applicano ogni livello a ogni token, anche quelli banali come la punteggiatura. Mixture of Depths, introdotto da Google DeepMind nel 2024, aggiunge un piccolo router su ciascun blocco che seleziona una frazione top-k fissa di token per sottoporsi all'autoattenzione completa e al calcolo MLP; il resto salta il blocco tramite una connessione residua. Poiché vengono elaborati solo k token per livello, il calcolo totale (FLOP) è limitato e noto in anticipo, a differenza dei precedenti metodi di profondità dinamica che variavano in modo imprevedibile. Ciò rende efficiente l'utilizzo in batch e dell'hardware. I modelli addestrati MoD possono eguagliare la qualità di un trasformatore di base utilizzando meno FLOP per passaggio in avanti o raggiungere una qualità superiore con lo stesso calcolo e l'idea si combina naturalmente con Mixture-of-Experts per fornire modelli "ModE" che instradano sia in profondità che in larghezza.
Riduzione dei FLOP necessari per elaborare documenti lunghi saltando il calcolo approfondito sui token di riempimento
Addestramento di un modello che corrisponda alla qualità di base con un calcolo inferiore, riducendo i costi di servizio
Combinazione con Mixture-of-Experts (MoDE) per instradare sia la profondità del livello che la scelta dell'esperto
Mantenere una latenza prevedibile e fissa per token perché il budget di elaborazione per livello è fissato in anticipo
Il calcolo condizionale è una leva importante per l’efficienza man mano che i modelli scalano e il MoD ne è un primo esempio chiaro. Aspettatevi un'integrazione più profonda con Mixture-of-Experts (instradamento sia sulla profondità che sugli esperti), budget adattivi che si riducono per input facili e router appresi che identificano meglio quali token necessitano veramente di un'elaborazione approfondita. Poiché i costi di inferenza dominano l’economia di implementazione, è probabile che le tecniche che consentono ai modelli di “pensare più intensamente” solo dove necessario, mantenendo una latenza prevedibile, diventino standard nelle architetture su larga scala.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Mixture of Depths (MoD) consente a un trasformatore di spendere quantità diverse di calcolo su token diversi, instradando solo i token "importanti" attraverso il calcolo pesante di ciascun livello. Riduce i costi di elaborazione dei token semplici mantenendo un budget di elaborazione fisso e prevedibile.
MoD instrada solo alcuni token attraverso il calcolo pesante di ciascun livello, quindi token diversi ottengono effettivamente profondità diverse.
La scelta di un top-k fisso di token per blocco limita i FLOP e mantiene costanti le forme dei tensori, il che è intuitivo per l'hardware.
I token non selezionati ignorano il calcolo del blocco e vengono portati avanti invariati dal percorso residuo.
Mixture of Depths è stato introdotto da Google DeepMind in un articolo del 2024 sul calcolo del trasformatore dinamico.
La combinazione del routing approfondito con il routing esperto produce modelli "ModE" che condizionano il calcolo sia sui livelli che sugli esperti.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Aggregazione di miscele di agenti
Intelligenza artificiale linguistica