Il prossimoProssima guida
Routing di inferenza LLM e bilanciamento del carico
Tecnico
GUIDA TECNICA
Il gating e il routing consentono a una rete neurale di attivare solo le parti necessarie per ciascun input invece di eseguire ogni volta l'intero modello.
Ascolta questa guidaNarrato dall'IA · ~2 min
Ciò disaccoppia le dimensioni del modello dal costo di calcolo, consentendo modelli enormi che rimangono veloci ed economici da eseguire.
Il calcolo condizionale significa che la rete prende decisioni dipendenti dai dati su quali sottomoduli utilizzare. Una piccola rete di "gating" o "router" appresa esamina ciascun input (spesso ciascun token) e produce punteggi selezionando a quali "esperti" inviarlo. In uno strato Mixture-of-Experts (MoE), esistono dozzine o centinaia di sottoreti di esperti, ma il router sceglie solo le prime o due per token, quindi la maggior parte degli esperti rimane inattiva per qualsiasi input. Il risultato è un modello con un numero totale di parametri enorme ma un numero attivo ridotto, che offre la potenza rappresentativa di un modello gigante al costo di runtime di uno molto più piccolo. Questo è il modo in cui modelli come Switch Transformer, GLaM e molti modelli linguistici di frontiera si adattano a trilioni di parametri in modo conveniente.
Switch Transformer instrada ciascun token a un singolo esperto, scalando fino a oltre un trilione di parametri mantenendo basso il calcolo per token.
Modelli linguistici di grandi dimensioni di frontiera che utilizzano livelli di combinazione di esperti in modo che solo una frazione dei pesi venga attivata per token.
Classificatori di immagini con uscita anticipata che si fermano a un livello superficiale per le immagini facili e vanno più in profondità solo per quelle difficili.
Modelli multilinguistici i cui router imparano a inviare token da diverse lingue a diversi esperti specializzati.
Il gate sparso è ora fondamentale per scalare i modelli di frontiera e la tendenza è verso esperti a grana più fine, router più intelligenti e routing a più livelli. Aspettatevi tecniche migliori per una formazione stabile, costi di comunicazione ridotti quando gli esperti sono distribuiti su molti acceleratori e analisi di "specializzazione degli esperti" per comprendere ciò che apprende ciascun esperto. Il calcolo condizionale si sta diffondendo anche oltre il MoE nelle reti ad uscita anticipata e nei modelli di profondità dinamica che spendono più calcolo solo su input più difficili.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il gating e il routing consentono a una rete neurale di attivare solo le parti necessarie per ciascun input invece di eseguire ogni volta l'intero modello. Ciò disaccoppia le dimensioni del modello dal costo di calcolo, consentendo modelli enormi che rimangono veloci ed economici da eseguire.
La guida definisce la selezione dei sottomoduli dipendente dai dati come calcolo condizionale.
La guida afferma che un router esperto seleziona gli esperti in base al suo input.
Il routing sparso può attivare solo una parte del set di parametri totale per ingresso.
La guida spiega che la maggior parte degli esperti può rimanere inattiva per un particolare token.
La guida rileva che i router possono favorire alcuni esperti, lasciandone altri sottoutilizzati.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Routing di inferenza LLM e bilanciamento del carico
Tecnico