Il prossimoProssima guida
Benchmark di separazione musicale MUSDB18
IA audio
GUIDA AI audio
Band-Split RoFormer è un'architettura di ricerca per la separazione delle sorgenti musicali che divide uno spettrogramma in bande di frequenza e modella le relazioni all'interno e attraverso di esse con la codifica dell'attenzione e della posizione rotante.
Ascolta questa guidaNarrato dall'IA · ~3 min
Stima le radici della fonte come la voce o l'accompagnamento da una miscela. I risultati dei benchmark pubblicati descrivono dati e impostazioni di allenamento particolari, non garantiscono risultati puliti per ogni registrazione.
Una canzone finita è una miscela di voci e strumenti. La separazione della sorgente musicale tenta di recuperare i contributori senza accesso alla sessione multitraccia originale. La ricerca BS-RoFormer propone un modello nel dominio della frequenza: una rappresentazione tempo-frequenza è divisa in bande e l'attenzione in stile trasformatore modella le relazioni tra tempo e frequenza. Le codifiche di posizione rotatoria aiutano a rappresentare le posizioni della sequenza all'interno dell'attenzione. Il modello stima quindi una fonte target dalla miscela. Un documento RoFormer relativo alla banda mel-band utilizza un diverso schema di bande sovrapposte, quindi i due nomi non dovrebbero essere trattati come punti di controllo identici. La divisione della banda è pratica perché le frequenze basse e alte contengono diversi tipi di informazioni. Una nota di basso, un piatto e una voce cantata occupano schemi diversi ma si sovrappongono comunque. L'attenzione può modellare relazioni più lunghe di un filtro puramente locale. Ciò non rende la separazione esatta: il riverbero condiviso tra le sorgenti, la sovrapposizione armonica e gli effetti di mastering lasciano ambiguità. Un modello può rimuovere parte di una voce o inserirvi uno strumento. Sono necessarie sia le metriche di ascolto che quelle di riferimento. Benchmark come MUSDB18 forniscono riferimenti a miscele e steli isolati per una valutazione controllata. Un risultato dipende dai dati di training, dalle radici target, dalle frequenze di campionamento dei brani e dalla metrica di valutazione. Le performance pubblicate su un corpus fisso non garantiscono la stessa qualità su concerti dal vivo, generi insoliti o caricamenti compressi. Confronta i sistemi sulla stessa divisione e rivela la postelaborazione. Per l'editing personale, una radice imperfetta può ancora essere utile; per il restauro o la prova archivistica, l'incertezza della fonte deve essere più chiara. RoFormer è un'architettura modello, non una promessa di prodotto di consumo. Prima di utilizzare un checkpoint, verificarne la licenza, la versione del modello, la destinazione stem supportata e i requisiti hardware. Conserva il mix originale e lascia che l'editor ascolti gli artefatti. Una clip demo pulita non può sostituire un test rappresentativo tra brani e mix densi.
Un ricercatore di remix confronta una stima vocale di BS-RoFormer con la radice vocale isolata originale delle canzoni trattenute.
Un produttore ascolta la perdita dei piatti e la distorsione vocale prima di utilizzare uno stelo stimato.
Un rapporto di benchmark indica se utilizzava la variante originale con divisione della banda o banda mel.
Uno sviluppatore controlla la memoria e il tempo di elaborazione per brani lunghi sull'hardware di destinazione anziché presumere trasferimenti alla velocità della carta.
Migliori modelli di attenzione basati sulla band possono fornire agli editor voci e strumenti più puliti e supportare remix più flessibili. Checkpoint più grandi o più specializzati possono migliorare un benchmark aumentando al contempo le esigenze di memoria o fallendo su generi non familiari. I parametri di riferimento dovrebbero separare gli errori di voce, batteria, basso e altri invece di riportare una media lusinghiera. Gli utenti traggono vantaggio dalla possibilità di confrontare uno stelo stimato con il mix originale e annullare l'elaborazione. Gli strumenti futuri dovrebbero indicare il punto di controllo, il dominio di formazione e i diritti per l'audio sorgente. Anche un separatore di alta qualità non è in grado di ricostruire ogni dettaglio di un master multitraccia da un mix finale.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Band-Split RoFormer è un'architettura di ricerca per la separazione delle sorgenti musicali che divide uno spettrogramma in bande di frequenza e modella le relazioni all'interno e attraverso di esse con la codifica dell'attenzione e della posizione rotante. Stima le radici della fonte come la voce o l'accompagnamento da una miscela. I risultati dei benchmark pubblicati descrivono dati e impostazioni di allenamento particolari, non garantiscono risultati puliti per ogni registrazione.
L'architettura elabora una rappresentazione nel dominio della frequenza.
L'attenzione combina le informazioni attraverso le posizioni rappresentate.
Fonti delle stime di separazione; non recupera esattamente gli originali nascosti.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Benchmark di separazione musicale MUSDB18
IA audio