Mel Spectrograms
A mel spectrogram jẹ aworan ti ohun lori akoko, pẹlu igbohunsafẹfẹ aaye ni ọna ti etí eniyan woye ipolowo.
Akopọ
O ṣe pataki nitori pe o yi ohun afetigbọ pada si iwapọ, aworan ti o ni oye ti o ni agbara pupọ julọ ọrọ ati orin AI.
Jin Dive
A mel spectrogram iyipada a ọkan-onisẹpo iwe igbi fọọmu sinu kan meji-onisẹpo map: akoko gbalaye pẹlú ọkan ipo, igbohunsafẹfẹ pẹlú awọn miiran, ati awọ tabi imọlẹ fihan agbara. Yiyi bọtini ni iwọn mel - awọn igbohunsafẹfẹ ti wa ni akojọpọ si awọn ẹgbẹ ti o dín ni awọn aaye kekere ati gbooro ni awọn aaye giga, ti o baamu bii igbọran eniyan ṣe iyatọ awọn ohun orin dara julọ ni isalẹ ti sakani. Eyi jẹ ki aṣoju jẹ ki o kere ati iwulo diẹ sii ju idite igbohunsafẹfẹ aise. Nitoripe o dabi aworan kan, awọn nẹtiwọọki ati awọn oluyipada le ṣe ilana rẹ taara, eyiti o jẹ idi ti awọn iwoye mel ṣe atilẹyin idanimọ ọrọ, wiwa ọrọ ji, fifi aami orin, ati awọn ọna ṣiṣe ọrọ-si-ọrọ ti ode oni ti o ṣe agbejade spectrogram mel ṣaaju titan-pada si ohun afetigbọ.
Imọ-imọ-ẹrọ
Opo gigun epo bẹrẹ pẹlu Iyipada Fourier Igba Kukuru: a ge ifihan agbara si awọn fireemu agbekọja, ferese kọọkan ati yipada lati ṣafihan akoonu igbohunsafẹfẹ rẹ. Abajade agbara julọ.Oniranran ti wa ni ki o si kọja nipasẹ kan ile ifowo pamo ti agbekọja triangular mel Ajọ ti apao agbara sinu perceptually alafo igbohunsafefe. Gbigbe logarithm ti awọn okunagbara ẹgbẹ wọnyẹn ṣe iwọn iwọn agbara ti ariwo nla sinu nkan ti awọn nẹtiwọọki mu daradara, ti nso iwoye log-mel faramọ ti a lo bi igbewọle awoṣe.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti Mel Spectrograms
Paapaa bi diẹ ninu awọn iwadii ṣe n ṣawari awọn ẹya ikẹkọ taara lati awọn ọna igbi aise, awọn iwoye mel jẹ oludari, igbewọle daradara kọja AI ohun. Awọn vocoders nkankikan ti o ṣe iyipada awọn iwoye mel ti asọtẹlẹ pada si ọrọ ohun ti o dun ni ilọsiwaju, wiwakọ ọrọ-si-ọrọ to dara julọ ati didi ohun. Reti awọn aṣoju ti o da lori mel lati duro si aarin ni awọn awoṣe ipilẹ ohun ohun ati iṣaju iṣaju iṣaju ti ara ẹni, pẹlu awọn isọdọtun ni ipinnu, awọn ile-ifiweranṣẹ ti kọ ẹkọ, ati isọpọ ṣinṣin pẹlu itankale ati awọn awoṣe transformer fun iran.
Real-World imuse
Ifunni log-mel spectrograms sinu awọn awoṣe idanimọ ọrọ bi opin iwaju ti ọpọlọpọ awọn eto ASR
Awọn ọna ṣiṣe ọrọ-si-ọrọ gẹgẹbi Tacotron ti n sọ asọtẹlẹ mel spectrogram ti vocoder lẹhinna yipada sinu ohun
Awọn ohun elo orin ti n ṣe iyatọ oriṣi, iṣesi, tabi awọn ohun elo nipasẹ ṣiṣe itọju spectrogram bi aworan
Ṣiṣawari awọn aṣiṣe ẹrọ tabi awọn ohun ayika nipa riran awọn awoṣe telltale ninu spectrogram
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mel Spectrograms quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Riffusion Spectrogram Itankale
Awọn ibeere ti a beere nigbagbogbo
Kini Mel Spectrograms?
A mel spectrogram jẹ aworan ti ohun lori akoko, pẹlu igbohunsafẹfẹ aaye ni ọna ti etí eniyan woye ipolowo. O ṣe pataki nitori pe o yipada ohun aise sinu iwapọ kan, aworan ti o ni itumọ ti o ni agbara pupọ julọ ọrọ ati orin AI.
Kí ni a mel spectrogram duro?
O jẹ maapu 2D ti iye agbara ti o wa ni ẹgbẹ igbohunsafẹfẹ kọọkan lori akoko, pẹlu igbohunsafẹfẹ lori iwọn iwoye.
Ohun ti o jẹ pataki nipa mel asekale?
Iwọn mel nlo awọn ẹgbẹ dín ni awọn aaye kekere ati awọn ti o gbooro ni awọn aaye giga, ti n ṣe afihan irisi ipolowo eniyan.
Eyi ti iyipada ni akọkọ igbese ni a Kọ a mel spectrogram?
STFT ege ohun naa sinu awọn fireemu window ati ṣafihan akoonu igbohunsafẹfẹ ti ọkọọkan, eyiti o jẹ ya aworan si awọn ẹgbẹ mel.
Kini idi ti logarithm ni igbagbogbo lo si awọn okunagbara ẹgbẹ mel?
Ohun ti npariwo wa ni iwọn nla; Gbigba log naa n rọ ọ ki awọn nẹtiwọọki nkankikan le kọ ẹkọ lati ọdọ rẹ ni irọrun diẹ sii, fifun log-mel spectrogram kan.
Kini idi ti awọn spectrograms mel jẹ awọn igbewọle irọrun fun awọn nẹtiwọọki nkankikan?
Ẹya bii aworan 2D wọn jẹ ki awọn ile-iṣọ ara iran lo ni taara si ohun.