KREP Adım Tahmini
CREPE, monofonik bir ses sinyalinin temel frekansını (perdesini) doğrudan ham dalga biçiminden tahmin eden bir derin öğrenme modelidir.
Genel Bakış
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Derin Dalış
2018'de Kim, Salamon, Li ve Bello tarafından tanıtılan CREPE (Perde Tahmini için Evrişimli Temsil), şarkı sesi veya solo enstrüman gibi tek notalı (monofonik) sesin perdesini tahmin eder. Sinyalin otokorelasyonuna dayanan YIN veya pYIN gibi klasik algoritmalardan farklı olarak CREPE, doğrudan zaman alanlı ses çerçeveleri üzerinde eğitilen derin bir evrişimli sinir ağıdır. Perde tahminini bir sınıflandırma problemi olarak çerçeveliyor: her biri 20 sent aralıklarla yaklaşık altı oktavı kapsayan 360 perde kutusu üzerinde bir olasılık dağılımı çıkarıyor. Yerel ağırlıklı ortalamayla hassaslaştırılan en yüksek aktivasyona sahip kutu, tahmini sıklığın yanı sıra bir güven puanı da verir. CREPE, özellikle gürültü altında sinyal işleme yöntemlerinden önemli ölçüde daha sağlam olduğunu kanıtladı ve artık birçok müzik ve konuşma analizi hattında standart bir bileşendir.
Teknik Bilgi
CREPE, 1024 örnekli bir ses çerçevesini alır ve bunu altı yığılmış evrişimli katmandan geçirir ve sigmoid aktivasyonları olan 360 birimlik bir çıktı katmanıyla sonlanır. Her birim, yaklaşık altı oktav boyunca 20 sent aralıklı bir perde bölmesine karşılık gelir. Ağ, gerçek perdede merkezlenmiş Gaussian bulanık bir hedefe karşı ikili çapraz entropi ile eğitilir. Çıkarımda, tahmin edilen frekans, tepe noktası etrafındaki aktivasyonların yerel ağırlıklı ortalamasıdır ve tepe yüksekliği bir güven değeri olarak hizmet eder.
Stratejik Etki
Access and reach
Transkripsiyon, anlatım ve ses arayüzleri aracılığıyla erişilebilirliği artırır.
Maliyet ve bütçe
Medya ekipleri daha küçük bütçelerle daha iyi ses kalitesi sunabilir.
Speed and scale
Müşteriyle yüz yüze olan sistemler, sözlü etkileşimleri daha büyük ölçekte işleyebilir.
KREP Adım Tahmininin Geleceği
Perde tahmini, polifoniyi (aynı anda birden fazla nota), gerçek zamanlı ayarlama ve otomatik uyum için daha düşük gecikmeyi ve telefonlarda ve gömülü cihazlarda çalışan daha küçük damıtılmış ağları idare eden ortak modellere doğru ilerliyor. CREPE'nin güven çıktıları, otomatik transkripsiyon, ses düzeltme ve etkileyici performans analizi gibi alt görevlere giderek daha fazla beslenmektedir. Tını ve artikülasyonun yanı sıra perdeyi de öğrenen kendi kendini denetleyen ve çok görevli yaklaşımlar, muhtemelen CREPE tarzı doğruluğu temiz monofonik sesin ötesine taşıyacaktır.
Gerçek Dünya Uygulaması
Vokal eğitimi uygulamalarında gerçek zamanlı akort geri bildirimi için şarkıcının perdesini takip etme
Doğru temel frekans eğrileriyle otomatik ayarlama ve perde düzeltme araçlarını kullanma
Solo enstrüman melodilerini MIDI veya notalara dönüştürme
Müzik eğitimi ve performans araştırmalarında tonlama ve vibrato analizi
Riskler ve Korkuluklar
Onay eksik olduğunda sesin kötüye kullanılması ve kimliğe bürünme riskleri artar.
Aksanlar, lehçeler veya gürültülü ortamlarda doğruluk düşebilir.
Sentetik ses, net bir etiketleme olmadan, orijinal konuşmayla karıştırılabilir.
Uygulama Yol Haritası
Sesin yakalanması, klonlanması ve yeniden kullanılması için açık izin alın.
Kaliteyi farklı hoparlörler ve arka plan koşullarında test edin.
Bir insanın çıktıları ne zaman incelemesi veya onaylaması gerektiğini tanımlayın.
Sentetik sesi etiketleyin ve sorumluluk için kaynak kayıtlarını saklayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
FastPitch Pitch Kontrollü TTS
Sık sorulan sorular
What is CREPE Pitch Estimation?
CREPE, monofonik bir ses sinyalinin temel frekansını (perdesini) doğrudan ham dalga biçiminden tahmin eden bir derin öğrenme modelidir. Özellikle gürültülü veya zor kayıtlarda perde izleme için yeni bir doğruluk standardı belirledi.
CREPE bir ses sinyalinden ne tahmin eder?
CREPE, monofonik sesin temel frekansını, yani algılanan perdeyi tahmin eder.
CREPE öncelikle ne tür ses için tasarlandı?
CREPE, tek ses veya solo enstrüman gibi monofonik sinyallerin perdesini tahmin eder.
CREPE, adım tahmini görevini dahili olarak nasıl çerçeveliyor?
CREPE, tahmini sınıflandırma olarak ele alarak 360 aralıklı kutular üzerinde bir olasılık dağılımı üretir.
KREP doğrudan girdi olarak neyi alır?
Spektrogram tabanlı yöntemlerin aksine, CREPE, evrişimli katmanlar aracılığıyla ham dalga biçimi çerçeveleri üzerinde çalışır.
CREPE'nin zift kutuları yaklaşık olarak ne kadar uzaktadır?
CREPE, yaklaşık altı oktavda yarım ton altı çözünürlük sağlayan, birbirinden 20 sent aralıklı 360 bölme kullanır.