Rifüzyon Spektrogramı Difüzyon
Riffusion, sesi bir resim gibi işleyerek müzik üreten akıllı bir hack'tir: Spektrogramları boyamak için Stabil Difüzyon görüntü modeline ince ayar yapar ve ardından bu görüntüleri tekrar sese dönüştürür.
Genel Bakış
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
Derin Dalış
Seth Forsgren ve Hayk Martiros tarafından 2022'nin sonlarında piyasaya sürülen Riffusion, bir hobi projesi olarak başladı. Temel püf noktası: Spektrogram, yatay eksenin zaman, dikey eksenin frekans ve piksel parlaklığının ses yüksekliği olduğu 2 boyutlu bir görüntüdür. Stable Diffusion zaten metin komutlarından görüntüler oluşturduğundan, yaratıcılar binlerce eşleştirilmiş spektrogram metni örneği üzerinde ince ayar yaptı. Bunu 'funky caz bas' ile yönlendirdiğinizde, rastgele gürültüyü bu sesin bir spektrogramına dönüştürür. Çalınabilir ses oluşturmak için Riffusion, spektrogramı eksik faz bilgisini yeniden yapılandıran bir Griffin-Lim algoritması aracılığıyla çalıştırıyor. Difüzyon, istemler arasında sorunsuz şekilde enterpolasyon yapabildiğinden, Riffusion aynı zamanda kesintisiz bir klip üzerinden bir stili diğerine kusursuz bir şekilde döngü yaparak dönüştürebilir.
Teknik Bilgi
Riffusion, gizli difüzyon boru hattını değişmeden yeniden kullanır: bir U-Net, Gauss gürültüsünü, CLIP metni yerleştirmeye koşullandırılmış gizli bir görüntüden yinelemeli olarak kaldırır. Alana özgü tek çalışma, spektrogram gösterimi (mel ölçeği, log gücü) ve tahmin edilen büyüklük spektrogramını tekrar dalga biçimine dönüştüren Griffin-Lim fazının yeniden yapılandırılmasıdır. Kodlama sırasında faz atılır, bu nedenle Griffin-Lim'in yinelemeli tahmini, karakteristik 'sulu' eserlerin ana kaynağıdır.
Stratejik Etki
Access and reach
Transkripsiyon, anlatım ve ses arayüzleri aracılığıyla erişilebilirliği artırır.
Maliyet ve bütçe
Medya ekipleri daha küçük bütçelerle daha iyi ses kalitesi sunabilir.
Speed and scale
Müşteriyle yüz yüze olan sistemler, sözlü etkileşimleri daha büyük ölçekte işleyebilir.
Rifüzyon Spektrogramı Difüzyonunun Geleceği
Riffusion, görüntü olarak spektrogram köprüsünün işe yaradığını kanıtladı ve bu fikir artık daha büyük ses sistemlerinde varlığını sürdürüyor ve Riffusion şirketi haline geldi. Gelecekteki araçların, daha temiz aşama için kayıplı Griffin-Lim'i öğrenilmiş sinirsel ses kodlayıcılarla değiştirmesini ve spektrogram difüzyonunu gizli ses codec bileşenleriyle birleştirmesini bekleyin. Görüntü modellerinin yeni modalitelere yönlendirilebileceğine dair daha geniş ders, araştırmacıların ses ve video oluşturucularını mevcut önceden eğitilmiş omurgalardan nasıl önyüklediklerini etkilemeye devam ediyor.
Gerçek Dünya Uygulaması
'Gergin synthwave kovalamaca' gibi bir metin isteminden bağımsız video oyunları için kısa döngülü arka plan parçaları oluşturma
İki müzik tarzı arasında sorunsuz bir şekilde geçiş yapma, ör. 'Tropikal ev' ile 'lo-fi hip hop'u tek bir klipte harmanlamak
Lisans ücreti olmadan YouTube videoları ve podcast'ler için telifsiz ambient müzik yatakları üretmek
Bir müzisyenin daha sonra dijital ses iş istasyonunda düzgün bir şekilde yeniden kaydettiği melodik veya ritmik fikirlerin prototipini oluşturmak
Riskler ve Korkuluklar
Onay eksik olduğunda sesin kötüye kullanılması ve kimliğe bürünme riskleri artar.
Aksanlar, lehçeler veya gürültülü ortamlarda doğruluk düşebilir.
Sentetik ses, net bir etiketleme olmadan, orijinal konuşmayla karıştırılabilir.
Uygulama Yol Haritası
Sesin yakalanması, klonlanması ve yeniden kullanılması için açık izin alın.
Kaliteyi farklı hoparlörler ve arka plan koşullarında test edin.
Bir insanın çıktıları ne zaman incelemesi veya onaylaması gerektiğini tanımlayın.
Sentetik sesi etiketleyin ve sorumluluk için kaynak kayıtlarını saklayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
DiffWave Difüzyon Vocoder
Sık sorulan sorular
What is Riffusion Spectrogram Diffusion?
Riffusion, sesi bir resim gibi işleyerek müzik üreten akıllı bir hack'tir: Spektrogramları boyamak için Stabil Difüzyon görüntü modeline ince ayar yapar ve ardından bu görüntüleri tekrar sese dönüştürür. Bu önemli çünkü bir araç (görüntüler) için oluşturulmuş bir aracın neredeyse hiçbir yeni mimariye sahip olmayan bir başkasını (müzik) üretebileceğini gösteriyor.
Riffusion, müzik oluşturmak için hangi mevcut AI modelinde ince ayar yaptı?
Riffusion, daha sonra sese dönüştürülen spektrogram görüntüleri oluşturmak için bir görüntü yayılma modeli olan Stabil Difüzyon'a ince ayar yaptı.
Bir spektrogram iki ekseninde neyi temsil eder?
Bir spektrogramda yatay eksen zamanı, dikey eksen frekansı ve parlaklık ise ses yüksekliğini temsil eder.
Riffusion'ın neden Griffin-Lim gibi bir algoritmaya ihtiyacı var?
Spektrogram büyüklüğü saklar ancak fazı atar; bu nedenle Griffin-Lim, oynanabilir bir dalga biçimini yeniden oluşturmak için fazı yinelemeli olarak tahmin eder.
İki istemi harmanlarken difüzyon Riffusion'a hangi yeteneği kazandırır?
Difüzyon modelleri gizli uzayda enterpolasyon yapabilir ve Riffusion'ın sürekli olarak bir müzik tarzından diğerine geçiş yapmasına olanak tanır.
Riffusion ilk olarak nasıl yaratıldı ve piyasaya sürüldü?
Riffusion, Seth Forsgren ve Hayk Martiros tarafından bir hobi projesi olarak başladı ve 2022'nin sonlarında halka açıklandı.