Il prossimoProssima guida
Incorporamenti per altoparlanti X-Vector
IA audio
GUIDA AI audio
La quantizzazione vettoriale residua (RVQ) è la tecnica che trasforma gli incorporamenti audio continui in una pila compatta di codici discreti quantizzando ripetutamente l'errore residuo.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché è il motore dietro i moderni codec neurali come SoundStream e EnCodec e il tokenizzatore per audio generativo.
La quantizzazione vettoriale semplice (VQ) sostituisce un vettore continuo con la voce più vicina in un codice appreso, ma un singolo codice sufficientemente fine per un'alta qualità richiederebbe un numero astronomicamente elevato di voci. RVQ risolve questo problema collegando a cascata diversi codici più piccoli. Il primo codebook produce un'approssimazione grossolana; lo sottrai per ottenere un errore residuo, quantizza quel residuo con un secondo libro di codici, sottrai di nuovo e continua per N fasi. Il codice finale è l'elenco degli indici scelti in tutte le fasi e la ricostruzione è la somma di tutti i vettori del libro di codici selezionati. Ciò suddivide un enorme ed efficace codebook in tanti piccoli codici, riducendo drasticamente la memoria e il calcolo e consentendo al tempo stesso di scalare il bitrate semplicemente utilizzando più o meno fasi. L'eliminazione del quantizzatore durante l'addestramento fa sì che i primi codici contengano la maggior parte delle informazioni, consentendo un graduale degrado della qualità.
Discretizzazione degli incorporamenti di codificatori all'interno dei codec neurali SoundStream, EnCodec e DAC
Produzione dei token audio a più livelli su cui AudioLM e MusicLM generano
Aumentare o diminuire il bitrate di un codec attivando più o meno stadi di quantizzazione
Compressione di incorporamenti ad alta dimensione in sistemi di recupero e archiviazione utilizzando libri di codici impilati
RVQ è diventato lo strato di discretizzazione standard che collega rappresentazioni neurali continue a modelli generativi basati su token, e i perfezionamenti continuano: migliore utilizzo dei codici per evitare voci "morte", codici fattorizzati e a bassa dimensione e gerarchie di token semanticamente significative. Oltre all'audio, la stessa idea di stacking residuo si sta diffondendo ai tokenizzatori di immagini e video, posizionando RVQ come un ponte generale tra codificatori continui e generatori di sequenze in stile modello linguistico.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La quantizzazione vettoriale residua (RVQ) è la tecnica che trasforma gli incorporamenti audio continui in una pila compatta di codici discreti quantizzando ripetutamente l'errore residuo. È importante perché è il motore dietro i moderni codec neurali come SoundStream ed EnCodec e il tokenizzatore per l'audio generativo.
Dopo che il primo codebook fornisce una stima grossolana, RVQ la sottrae e quantizza il residuo rimanente con il codebook successivo, ripetendo attraverso le fasi.
Un singolo codebook sufficientemente fine per un'alta qualità sarebbe impraticabilmente grande; impilando M codici di K voci si ottengono combinazioni K ^ M con molto meno spazio di archiviazione.
La ricostruzione è la somma dei vettori del codice scelti in tutte le fasi, ciascuno correggendo il residuo di quelli precedenti.
Scegliendo una delle K voci in ciascuno degli M stadi indipendenti si ottengono K^M combinazioni possibili, memorizzando solo i vettori M*K.
La perdita di impegno penalizza il codificatore quando le sue uscite si allontanano dai vettori del libro di codici selezionati, mantenendo stabile la quantizzazione; i codici stessi spesso si aggiornano tramite una media mobile esponenziale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Incorporamenti per altoparlanti X-Vector
IA audio