GUIDA AI audio

Trascrizione musicale automatica

La trascrizione musicale automatica (AMT) converte una registrazione audio grezza di musica in una notazione simbolica come spartiti, MIDI o un pianoforte.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della trascrizione musicale automatica
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

It tackles one of the hardest problems in audio AI: untangling many overlapping notes played at once.

Immersione profonda

I sistemi AMT ascoltano una forma d'onda audio e trasmettono quali note vengono suonate, quando iniziano, quanto durano e talvolta quale strumento le suona. La sfida principale è la polifonia: quando più note suonano simultaneamente, le loro armoniche si sovrappongono e si confondono nello spettro delle frequenze, quindi un singolo Do e un Sol possono essere difficili da separare da una singola nota più forte. I sistemi moderni convertono l'audio in una rappresentazione tempo-frequenza come uno spettrogramma mel o una trasformazione a Q costante, quindi utilizzano reti neurali profonde per prevedere l'inizio, lo spostamento e l'altezza delle note. Il modello Onsets and Frames di Google è stato un punto di riferimento per la trascrizione del pianoforte, mentre i modelli di trasformatore più recenti come MT3 trascrivono più strumenti contemporaneamente.

Implementazione nel mondo reale

AnthemScore e app simili convertono le registrazioni MP3 in spartiti modificabili per i musicisti che imparano le canzoni a orecchio

Estrazione MIDI da una registrazione di pianoforte in modo che un produttore possa rielaborare la voce o quantizzare la performance in una DAW

Strumenti di educazione musicale che confrontano le note suonate da uno studente con la partitura per contrassegnare le note sbagliate o perse

Musicologi che trascrivono registrazioni storiche o improvvisate (come gli assoli jazz) in notazione per l'analisi

Il futuro della trascrizione musicale automatica

AMT si sta spostando dal pianoforte solo verso una trascrizione affidabile multi-strumento e a banda intera, comprese batteria, voce e tecniche espressive come bending e vibrato. Le architetture dei trasformatori addestrate su grandi set di dati sintetici e allineati stanno colmando il divario. Aspettatevi un'integrazione più stretta con la separazione delle fonti, la trascrizione in tempo reale per le performance dal vivo e strumenti che catturano micro-tempi e dinamiche, non solo note. L'obiettivo a lungo termine è un sistema che trasformi qualsiasi registrazione in una partitura modificabile e leggibile dall'uomo.

Metterlo in pratica

Perché è importante

  • Accedere e raggiungere. Migliora l'accessibilità attraverso la trascrizione, la narrazione e le interfacce vocali.
  • Costo e budget. I team media possono fornire audio raffinato più velocemente con budget inferiori.
  • Velocità e scala. I sistemi rivolti al cliente possono elaborare le interazioni parlate su scala più ampia.

Attenzione

  • I rischi di uso improprio della voce e di impersonificazione aumentano quando manca il consenso.
  • La precisione può diminuire se si considerano accenti, dialetti o ambienti rumorosi.
  • L'audio sintetico può essere confuso con un parlato autentico senza un'etichettatura chiara.

Prossimi passi

  1. Ottieni il consenso esplicito per l'acquisizione, la clonazione e il riutilizzo della voce.
  2. Testare la qualità su diversi altoparlanti e condizioni di fondo.
  3. Definire quando un essere umano deve rivedere o approvare gli output.
  4. Etichettare l'audio sintetico e conservare i registri di provenienza per responsabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Automatic Music Transcription quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Automatic Music Transcription?

La trascrizione musicale automatica (AMT) converte una registrazione audio grezza di musica in una notazione simbolica come spartiti, MIDI o un pianoforte. Affronta uno dei problemi più difficili dell'intelligenza artificiale audio: districare molte note sovrapposte suonate contemporaneamente.

Che cosa produce principalmente la trascrizione musicale automatica?

AMT converte una registrazione audio in una notazione simbolica come MIDI, un piano roll o uno spartito che descrive le note suonate.

Perché la musica polifonica è particolarmente difficile da trascrivere?

Quando più note suonano contemporaneamente, le loro armoniche si sovrappongono, rendendo difficile separare le singole altezze presenti.

Cosa c'era di interessante nel modello Onsets and Frames di Google?

Onsets e Frames utilizzavano una testina per rilevare gli attacchi precisi delle note e un'altra per le altezze sostenute, con gli attacchi che controllavano l'uscita del fotogramma.

Perché la trasformazione a Q costante è utile per la musica?

Le altezze musicali sono distanziate logaritmicamente (le ottave raddoppiano in frequenza) e i contenitori distanziati logaritmicamente del CQT si allineano naturalmente con questo.

A cosa si riferisce un "esordio" nella trascrizione?

L'esordio è il momento acuto ed energico in cui inizia una nota, che è più facile da localizzare con precisione rispetto al suo sostegno.