Audio AI-GIDS
Constant-Q-transformatie voor audio
De constante Q-transformatie (CQT) verandert audio in een tijdfrequentiebeeld waarvan de frequentiebakken op een afstand van elkaar liggen zoals muzieknoten, een vast aantal per octaaf, in plaats van gelijkmatig in hertz zoals bij de Fourier-transformatie.
Luister naar deze gidsAI-verteld · ~8 min
Op deze pagina9 minuten lezen
Overzicht
Omdat een verandering van toonsoort het beeld eenvoudigweg omhoog of omlaag schuift, is de CQT een standaardinvoer voor muziektranscriptie, toonhoogteregistratie en akkoordherkenningsmodellen.
Belangrijkste inzichten
- De constante Q transformeert de frequentieruimten geometrisch, een vast aantal per octaaf, zodat elke bin op een lijn kan staan met een muzieknoot.
- Elke CQT-bak heeft dezelfde verhouding tussen middenfrequentie en bandbreedte, dus lage noten krijgen lange vensters en hoge noten korte.
- Het transponeren van muziek verschuift een CQT omhoog of omlaag zonder de vorm te veranderen, wat past bij convolutionele neurale netwerken.
- Judith C. Brown beschreef de spectrale transformatie met constante Q voor muziek in de Journal of the Acoustical Society of America in 1991.
- Spotify's Basic Pitch gebruikt een harmonische CQT-invoer om audio naar MIDI te transcriberen met minder dan 17.000 modelparameters.
Diepe duik
A spectrogram shows how much energy a sound has at each frequency over time. The usual way to compute one is the short-time Fourier transform (STFT), which cuts audio into frames and measures energy in frequency bins spaced evenly in hertz, for example every 10.8 Hz. Music does not work in even steps. Each octave doubles the frequency, and Western tuning splits the octave into 12 semitones, each about 5.9% higher than the last. Near the bottom of a piano, adjacent notes C1 and C#1 are only 1.9 Hz apart, while near the top they are more than 200 Hz apart. An evenly spaced spectrogram therefore blurs low notes together and spends many bins between high notes. The constant-Q transform fixes this by spacing bins geometrically: every bin is a fixed ratio above the previous one, so each bin can sit exactly on a musical note.
The name comes from the quality factor Q, the ratio of a bin's center frequency to its bandwidth. In the CQT every bin has the same Q, so bandwidth grows in proportion to frequency. To measure a narrow band precisely you must listen for longer, so low bins use long analysis windows and high bins use short ones. Step by step, the computation is: choose a lowest frequency, such as C1 at 32.70 Hz; choose bins per octave, typically 12 for semitones or 36 to 60 for finer pitch detail; place each center frequency a factor of two to the power of one over the bins-per-octave above the last; give each bin a window whose length is Q times the sample rate divided by its center frequency; and at regular time steps, multiply the audio by each bin's windowed complex sinusoid and sum, which yields the magnitude and phase of that note at that moment.
The idea was formalized for music by Judith C. Brown in "Calculation of a Constant Q Spectral Transform", published in the Journal of the Acoustical Society of America in 1991 (volume 89, pages 425 to 434). Her MIT Media Lab page still hosts Matlab code for the direct method. Computing every bin with its own long window was slow, so later work focused on efficiency. Christian Schörkhuber and Anssi Klapuri's 2010 constant-Q toolbox, the method cited by librosa, computes the top octave and then repeatedly halves the sample rate to compute each lower octave cheaply. In 2011 Gino Angelo Velasco, Nicki Holighaus, Monika Dörfler and Thomas Grill showed at the DAFx conference how to build a perfectly invertible CQT using nonstationary Gabor frames, the basis of MATLAB's cqt and icqt functions.
Deep learning gave the CQT a new role. A convolutional neural network learns small patterns and slides them across an image. On a CQT, playing the same chord in a different key moves the whole pattern by a fixed number of bins without changing its shape, so one learned filter recognizes the chord in every key. On a linear spectrogram the spacing between harmonics changes with pitch, so that trick fails. In 2017 Rachel Bittner and colleagues at New York University introduced the harmonic CQT (HCQT), a stack of CQTs whose lowest frequencies are multiplied by 0.5, 1, 2, 3, 4 and 5, so a note's overtones line up in the same position across layers, like the color channels of an image. Spotify's Basic Pitch, released in June 2022, uses this input to transcribe polyphonic audio to MIDI with fewer than 17,000 parameters and under 20 MB of peak memory.
Compared with the alternatives, the CQT's strength is pitch alignment and its cost is everything else. The STFT is fast, simple and exactly invertible but has the wrong frequency layout for notes. The mel spectrogram, widely used for speech, compresses frequency on a perceptual scale that is nearly linear at low frequencies, so its bins do not fall on musical notes. Chroma features, often computed from a CQT, fold all octaves into 12 pitch classes, which helps chord and key detection but discards which octave a note is in. Learned front ends let a network discover its own filters, at the price of more data and less interpretability.
The CQT has real limitations. Long low-frequency windows smear time: with 12 bins per octave at a 22,050 Hz sample rate, the window for C1 is about 11,300 samples, roughly half a second, so fast bass notes and drum hits blur at the bottom of the picture while the top is sharp. Classical implementations were not invertible, which mattered for editing and source separation until frame-based methods like Velasco's appeared. Computation is heavier than an STFT; the nnAudio authors measured librosa taking about 103 seconds for 1,770 piano recordings on a CPU, against 0.26 seconds for their GPU version. Tuning matters too: a recording tuned slightly away from A at 440 Hz puts notes between bins unless the transform is shifted to match.
In practice the CQT is cheap to try. librosa computes it with one function call, with defaults of a 512-sample hop, 84 bins and 12 bins per octave from C1 nnAudio and similar libraries compute it on a GPU as a layer of the network, which avoids storing spectrograms on disk and makes the filters trainable. The main design choices are the lowest frequency, the number of octaves, bins per octave, which trades pitch precision against time precision, and hop size. The 2017 deep salience model, for example, used 60 bins per octave, 20 cents per bin, to track fine pitch, while tasks that only need note names can use 12.
04Uitgewerkt voorbeeld
Zoek een notitie in een CQT met librosa
Genereer of neem een toon van 2 seconden op bij 440 Hz (de A boven de middelste C), gesampled bij 22.050 Hz.
Bereken C = librosa.cqt(y, sr=22050), met behoud van de standaardwaarden: hop 512, laagste frequentie C1 op 32,70 Hz, 84 bins, 12 per octaaf.
Neem grootheden met numpy.abs(C) en converteer naar decibel met librosa.amplitude_to_db.
Voorspel de heldere rij: A4 ligt 45 halve tonen boven C1 (36 om C4 te bereiken, plus 9 tot A4), dus verwacht bin-index 45.
Controleer dit met librosa.cqt_frequencies(84, fmin=librosa.note_to_hz('C1')), waarvan invoer 45 ongeveer 440 Hz zou moeten zijn.
Herhaal dit met een toon van 466,16 Hz (A#4) en bevestig dat de heldere rij precies één vak omhoog gaat.
Wat het laat zien
Een CQT-afbeelding met een enkele heldere horizontale lijn bij bak 45 die één bak per halve toon beweegt. Het controleren of de voorspelde en waargenomen bins overeenkomen bevestigt de geometrische afstand, en het vergelijken van de scherpte van een lage noot met een hoge noot toont de wisselwerking tussen tijd en frequentie.
Implementatie in de echte wereld
Spotify's open-source Basic Pitch, uitgebracht in juni 2022, converteert opnames van veel instrumenten, waaronder stem, naar MIDI met behulp van een harmonische CQT-invoer en een model met minder dan 17.000 parameters.
Het Deep Salience-model van NYU (ISMIR 2017) schat melodieën en meerdere toonhoogtes op basis van een harmonische CQT van 6 octaven bij 60 bins per octaaf, beginnend bij C1 (32,7 Hz).
De cqt-functie van de librosa Python-bibliotheek is een algemeen startpunt voor muziekonderzoek en produceert standaard 84 halve tonen, zeven octaven hoger dan C1.
De nnAudio-toolbox berekent de CQT op een GPU binnen een neuraal netwerk, wat de auteurs ruwweg 400 keer sneller hebben gemeten dan librosa op een set van 1.770 piano-opnamen.
De cqt- en icqt-functies van MATLAB bieden een omkeerbare CQT, zodat een ingenieur een geluid in het nootuitgelijnde domein kan bewerken, bijvoorbeeld één toonhoogte kan verwijderen, en dit weer naar audio kan converteren.
De toekomst van Constant-Q Transform voor audio
Huidig onderzoek gebruikt de CQT minder als een laatste kenmerk en meer als een gestructureerde input of een laag binnen netwerken. Omdat nnAudio (2019) GPU- en trainbare CQT-lagen praktisch heeft gemaakt, kunnen modellen uitgaan van op noten afgestemde filters en deze tijdens de training verfijnen. De harmonische CQT, geïntroduceerd op ISMIR 2017 en hergebruikt in Spotify's Basic Pitch in 2022, toont een aanhoudende trend naar representaties die de muzikale structuur coderen, zodat kleinere modellen volstaan; Basic Pitch draait volgens Spotify sneller dan realtime op de meeste moderne computers. Openstaande problemen blijven bestaan. De wisselwerking tussen tijd en frequentieresolutie bij lage frequenties is van fundamenteel belang, zodat snelle baslijnen en percussie wazig blijven tenzij ze worden gecombineerd met een andere representatie. Niet-westerse muziek die andere intervallen dan 12 gelijke halve tonen gebruikt, komt niet netjes overeen met de standaard bin-afstanden, hoewel fijnere bins en instelbare afstemming dit gedeeltelijk verhelpen. Omkeerbare CQT's op basis van niet-stationaire Gabor-frames, beschikbaar in MATLAB en andere toolboxen, maken het bewerken en scheiden van notendomeinen mogelijk, maar hoe ze zich verhouden tot aangeleerde encoders voor generatieve muziekmodellen wordt nog steeds bestudeerd in plaats van vastgesteld.
Het in de praktijk brengen
Waarom het ertoe doet
- Toegang en bereik. Het verbetert de toegankelijkheid via transcriptie, gesproken tekst en spraakinterfaces.
- Kosten en budget. Mediateams kunnen met kleinere budgetten sneller gepolijste audio leveren.
- Snelheid en schaal. Klantgerichte systemen kunnen gesproken interacties op grotere schaal verwerken.
Pas op voor
- Het risico op stemmisbruik en imitatie neemt toe als de toestemming ontbreekt.
- De nauwkeurigheid kan afnemen bij accenten, dialecten of luidruchtige omgevingen.
- Synthetische audio kan worden aangezien voor authentieke spraak zonder duidelijke labels.
Volgende stappen
- Verkrijg expliciete toestemming voor het vastleggen, klonen en hergebruiken van spraak.
- Test de kwaliteit van diverse sprekers en achtergrondomstandigheden.
- Bepaal wanneer een mens de output moet beoordelen of goedkeuren.
- Label synthetische audio en houd de herkomstgegevens bij voor verantwoording.
Bronnen en verdere literatuur
- MIT Media Lab, Judith C. BrownConstant Q Transform (Matlab-code en verwijzing naar Brown 1991)
- librosa documentationlibrosa.cqt
- DAFx 2011Een inverteerbare constante Q-transformatie construeren met niet-stationaire Gabor-frames
- MathWorkscqt: Constant-Q niet-stationaire Gabor-transformatie
- ISMIR 2017Diepe salience-representaties voor F0-schatting in polyfone muziek
- Spotify EngineeringMaak kennis met Basic Pitch: Spotify's open source audio-naar-MIDI-converter
- arXiv (IEEE Access)Audio: een on-the-fly GPU-toolbox voor audio-naar-spectrogramconversie met behulp van neurale netwerken met 1D-convolutie
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Doe de Constant-Q Transform for Audio-quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Wat is Constant-Q Transform voor audio?
De constante Q-transformatie (CQT) verandert audio in een tijdfrequentiebeeld waarvan de frequentiebakken op een afstand van elkaar liggen zoals muzieknoten, een vast aantal per octaaf, in plaats van gelijkmatig in hertz zoals bij de Fourier-transformatie. Omdat een verandering van toonsoort het beeld eenvoudigweg omhoog of omlaag schuift, is de CQT een standaardinvoer voor muziektranscriptie, toonhoogteregistratie en akkoordherkenningsmodellen.
Hoe zijn de frequentiebins verdeeld in een Constant-Q-transformatie?
De CQT maakt gebruik van logaritmisch verdeelde bakken, zodat elke bak overeenkomt met een muzikaal toonhoogte-interval, in tegenstelling tot de lineaire afstand van een standaard FFT.
Waarnaar verwijst de 'Q' in Constant-Q?
Q is de verhouding tussen de middenfrequentie van een filter en zijn bandbreedte, en de CQT houdt deze verhouding voor alle bins constant.
Waarom gebruikt de CQT langere analysevensters bij lage frequenties?
Lage muzieknoten liggen heel dicht bij elkaar in absolute hertz, dus langere vensters geven de fijne frequentieresolutie die nodig is om ze te scheiden.
Wat gebeurt er met een CQT-toonhoogtepatroon wanneer een akkoord één octaaf omhoog wordt getransponeerd?
Omdat CQT-bakken logaritmisch van elkaar gescheiden zijn, verschuift een verdubbeling van elke frequentie een patroon met een vast aantal bakken gelijk aan het aantal bakken per octaaf.
Hoeveel CQT-bins per octaaf worden gewoonlijk gebruikt om uit te lijnen met halve tonen?
Twaalf bakken per octaaf brengen elke bak op één lijn met een halve toon van de westerse chromatische toonladder; 24 bakken geven een kwarttoonresolutie.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd