Il prossimoProssima guida
Formazione sulla previsione multi-token
Intelligenza artificiale linguistica
GUIDA TECNICA
Lo streaming speculativo e la previsione multi-token accelerano la generazione del modello linguistico indovinando diversi token futuri contemporaneamente e verificandoli in un unico passaggio, invece di produrre un token alla volta.
Ascolta questa guidaNarrato dall'IA · ~2 min
They cut latency without changing the text the model would have written.
La normale decodifica autoregressiva è lenta perché ogni token richiede un passaggio in avanti completo e i token vengono generati rigorosamente uno dopo l'altro, lasciando la GPU sottoutilizzata. La decodifica speculativa risolve questo problema con un drafter economico che propone un pezzo di token candidati, che il modello target di grandi dimensioni verifica quindi in parallelo; qualsiasi prefisso che corrisponde a ciò che il target avrebbe prodotto viene accettato gratuitamente e la prima mancata corrispondenza viene corretta. Lo streaming speculativo e la previsione multi-token in stile Medusa integrano il drafter nel modello stesso: teste di previsione extra leggere (o un flusso di token speculativi) consentono a un modello sia di bozza che di verifica, evitando un modello di bozza separato. Poiché la verifica è esatta, la distribuzione dell'output è identica alla decodifica standard, si ottengono semplicemente da 2 a 3 volte meno passaggi sequenziali.
Riduzione della latenza di risposta di un assistente di chat da 2 a 3 volte utilizzando testine di previsione extra in stile Medusa
Aggiunta della decodifica auto-speculativa a un server di inferenza in modo che non sia necessario ospitare un modello di bozza separato
Accelerazione del completamento del codice laddove le esecuzioni di token lunghe e prevedibili vengono accettate in blocchi di grandi dimensioni
Riduzione del costo della GPU per richiesta estraendo più token da ogni passaggio in avanti legato alla memoria
I metodi auto-speculativi che non necessitano di un modello di bozza separato stanno diventando l’impostazione predefinita nei motori di inferenza, e la ricerca sta spingendo i tassi di accettazione più in alto con teste di bozza migliori, candidati strutturati ad albero e addestrando congiuntamente il modello di base per la previsione multi-token (che può anche migliorare la qualità). Aspettatevi che queste tecniche si combinino con la quantizzazione e il batching in modo che gli assistenti interattivi sembrino istantanei anche quando i modelli crescono.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Lo streaming speculativo e la previsione multi-token accelerano la generazione del modello linguistico indovinando diversi token futuri contemporaneamente e verificandoli in un unico passaggio, invece di produrre un token alla volta. Riducono la latenza senza modificare il testo che il modello avrebbe scritto.
Ogni token necessita del proprio passaggio in avanti e sono strettamente sequenziali, quindi la GPU è limitata dalla larghezza di banda della memoria e sottoutilizzata durante la decodifica.
Un drafter economico propone una porzione di token candidati che il modello target di grandi dimensioni verifica quindi in parallelo.
La verifica (corrispondenza avida o campionamento del rifiuto) garantisce che i token accettati seguano l'esatta distribuzione che il modello target avrebbe prodotto, quindi l'output rimane invariato.
I metodi in stile Medusa integrano la bozza nel modello con teste di previsione aggiuntive, evitando la necessità di ospitare un modello di bozza separato.
Durante la decodifica il collo di bottiglia è lo spostamento dei pesi dalla memoria, quindi il punteggio di posizioni extra nello stesso passaggio aggiunge pochi costi di elaborazione.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Formazione sulla previsione multi-token
Intelligenza artificiale linguistica