MusicLM: Hiyerarşik Semantik ve Akustik Belirteçler
MusicLM, Google'in müzik yapısı için semantik belirteçlerden ve ses ayrıntıları için akustik belirteçlerden oluşan bir hiyerarşi yoluyla uzun biçimli ses üreten metinden müziğe modelidir.
Derin Dalış
Google Araştırma tarafından 2023'ün başlarında duyurulan MusicLM, tıpkı bir dil modelinin kelimeleri tahmin etmesi gibi, müzik üretimini ayrı ses belirteçlerinin dizilerini tahmin edecek şekilde çerçeveliyor. Bir temsil hiyerarşisi kullanır: semantik belirteçler (w2v-BERT adı verilen bir modelden) uzun aralıklar boyunca melodi ve ritim gibi yüksek seviyeli yapıları yakalarken, akustik belirteçler (SoundStream sinir kodlayıcısından) tını ve doku gibi ince ayrıntıları yakalar. İlk aşama, metin isteminden anlamsal belirteçler üretir, ardından sonraki aşamalar bu anlambilime göre koşullandırılmış akustik ayrıntıları doldurur. Metin koşullandırma, eğitimli açıklamalar ve sesin aynı alana yerleştirildiği ortak bir müzik metni olan MuLM/MuLan'dan gelir. Bu aşamalı yaklaşım, MusicLM'in birkaç saniye sonra kaybolmak yerine, dakikalar boyunca müzikal olarak tutarlı kalmasını sağlar.
Teknik Bilgi
Ana fikir, bir belirteç hiyerarşisi boyunca yapıyı dokudan ayırmaktır. Kaba anlamsal belirteçler seyrektir ve yavaş değişir, bu nedenle bir Transformer, çok büyük bir dizi uzunluğu olmadan uzun vadeli formu modelleyebilir. Akustik belirteçler yoğun ve yüksek oranlıdır, ancak yalnızca önceden sabitlenmiş semantiklere göre tahmin edilmeleri gerekir, bu da her aşamayı izlenebilir hale getirir. SoundStream'in artık vektör nicemlemesi, son kod çözücünün tekrar 24 kHz dalga biçimlerine dönüştürdüğü katmanlı akustik kodları üretir.
Stratejik Etki
Access and reach
Transkripsiyon, anlatım ve ses arayüzleri aracılığıyla erişilebilirliği artırır.
Maliyet ve bütçe
Medya ekipleri daha küçük bütçelerle daha iyi ses kalitesi sunabilir.
Speed and scale
Müşteriyle yüz yüze olan sistemler, sözlü etkileşimleri daha büyük ölçekte işleyebilir.
MusicLM'in Geleceği: Hiyerarşik Semantik ve Akustik Belirteçler
MusicLM'in hiyerarşik token yaklaşımı, MusicGen gibi daha sonraki sistemler ve ticari müzik araçları için bir şablon haline geldi. Daha sıkı melodi düzenlemesi (bir melodi mırıldanın, tam bir düzenleme yapın), dizeler ve nakaratlar içeren daha uzun, tamamen yapılandırılmış şarkılar ve enstrümanlar ve notalar üzerinde daha iyi kontrol edilebilirlik bekleyebilirsiniz. Zorlu konular yasal ve etiktir: veri lisanslama eğitimi, sanatçı izni ve oluşturulan sesin insan yapımı müzikten ayırt edilebilmesi için filigran eklenmesi artık dağıtımın merkezinde yer almaktadır.
Gerçek Dünya Uygulaması
Yazılı bir sahne açıklamasını bir film veya fragman müziğine dönüştürmek, ör. 'Koroyla birlikte epik orkestra yapısı'
Sanat enstalasyonları için resim yazısına ve hatta resim açıklamalarına göre koşullandırılmış arka plan müziği oluşturma
Kısa uğultulu veya ıslıklı bir melodiyi tam enstrümanlı bir düzenlemeye genişletme
Reklamcılar ve içerik oluşturucular için farklı tempo ve ruh hallerinde çeşitli stok müzik parçaları üretmek
Riskler ve Korkuluklar
Onay eksik olduğunda sesin kötüye kullanılması ve kimliğe bürünme riskleri artar.
Aksanlar, lehçeler veya gürültülü ortamlarda doğruluk düşebilir.
Sentetik ses, net bir etiketleme olmadan, orijinal konuşmayla karıştırılabilir.
Uygulama Yol Haritası
Sesin yakalanması, klonlanması ve yeniden kullanılması için açık izin alın.
Kaliteyi farklı hoparlörler ve arka plan koşullarında test edin.
Bir insanın çıktıları ne zaman incelemesi veya onaylaması gerektiğini tanımlayın.
Sentetik sesi etiketleyin ve sorumluluk için kaynak kayıtlarını saklayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MusicLM: Hierarchical Semantic and Acoustic Tokens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Sembolik Müzik Üretimi
Sık sorulan sorular
What is MusicLM: Hierarchical Semantic and Acoustic Tokens?
MusicLM, Google'in müzik yapısı için semantik belirteçlerden ve ses ayrıntıları için akustik belirteçlerden oluşan bir hiyerarşi yoluyla uzun biçimli ses üreten metinden müziğe modelidir.
MusicLM temel olarak müzik üretme görevini nasıl ele alıyor?
MusicLM, müzik üretimini, bir dil modelinin kelimeleri tahmin etme biçimine benzer şekilde, ayrı ses belirteçleri üzerinden otoregresif tahmin olarak çerçeveler.
MusicLM'de anlamsal belirteçlerin rolü nedir?
Anlamsal belirteçler (w2v-BERT'ten), uzun aralıklar boyunca melodi ve ritim gibi kaba, yavaş değişen yapıları yakalar.
Tını ve doku gibi ince akustik ayrıntıları hangi bileşen sağlar?
Akustik belirteçler SoundStream sinir kodeğinden gelir ve tını ve doku gibi ince ayrıntıları kodlar.
MusicLM bir metin istemini müzikal sese nasıl bağlar?
MuLan, metin açıklamalarını ve ses haritasını paylaşılan bir yerleştirme alanındaki yakındaki noktalarla eşleştirerek metin koşullandırmayı mümkün kılacak şekilde eğitilmiştir.
Hiyerarşik, aşamalı tasarım neden uzun vadeli yapıya yardımcı oluyor?
Seyrek anlamsal belirteçler yavaşça değişir, böylece Transformer, yoğun akustik ayrıntılar doldurulmadan önce uzun vadeli formu verimli bir şekilde modelleyebilir.