Διάχυση φασματογράμματος διάχυσης
Το Riffusion είναι ένα έξυπνο hack που δημιουργεί μουσική αντιμετωπίζοντας τον ήχο ως εικόνα: ρυθμίζει με ακρίβεια το μοντέλο εικόνας Stable Diffusion για να ζωγραφίσει φασματογράμματα και στη συνέχεια μετατρέπει αυτές τις εικόνες ξανά σε ήχο.
Επισκόπηση
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
Βαθιά κατάδυση
Το Riffusion, που κυκλοφόρησε στα τέλη του 2022 από τους Seth Forsgren και Hayk Martiros, ξεκίνησε ως έργο χόμπι. Το βασικό κόλπο: ένα φασματόγραμμα είναι μια εικόνα 2D όπου ο οριζόντιος άξονας είναι ο χρόνος, ο κατακόρυφος άξονας είναι η συχνότητα και η φωτεινότητα των εικονοστοιχείων είναι η ένταση. Εφόσον το Stable Diffusion δημιουργεί ήδη εικόνες από προτροπές κειμένου, οι δημιουργοί το συντόνισαν με ακρίβεια σε χιλιάδες ζευγαρωμένα παραδείγματα φασματογράμματος-κειμένου. Προωθήστε το με «funky jazz bass» και εκπέμπει τον τυχαίο θόρυβο σε ένα φασματόγραμμα αυτού του ήχου. Για να δημιουργήσει ήχο με δυνατότητα αναπαραγωγής, το Riffusion εκτελεί το φασματογράφημα μέσω ενός αλγόριθμου Griffin-Lim που αναδομεί τις πληροφορίες φάσης που λείπουν. Επειδή η διάχυση μπορεί να παρεμβάλλεται ομαλά μεταξύ των προτροπών, το Riffusion μπορεί επίσης να μεταμορφώσει το ένα στυλ σε ένα άλλο μέσω ενός συνεχούς κλιπ, κυκλώνοντας απρόσκοπτα.
Τεχνική διορατικότητα
Το Riffusion επαναχρησιμοποιεί τη σωλήνωση λανθάνουσας διάχυσης αμετάβλητη: ένα U-Net αφαιρεί επαναληπτικά τον Gaussian θόρυβο από μια λανθάνουσα εικόνα που εξαρτάται από μια ενσωμάτωση κειμένου CLIP. Η μόνη εργασία που αφορά συγκεκριμένο τομέα είναι η αναπαράσταση φασματογράμματος (κλίμακα μελάνης, ισχύς καταγραφής) και η ανακατασκευή φάσης Griffin-Lim που μετατρέπει το προβλεπόμενο φασματογράφημα μεγέθους ξανά σε κυματομορφή. Η φάση απορρίπτεται κατά την κωδικοποίηση, επομένως η επαναληπτική εκτίμηση του Griffin-Lim είναι η κύρια πηγή των χαρακτηριστικών «υδάτινων» τεχνουργημάτων.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
The Future of Riffusion Spectrogram Diffusion
Το Riffusion απέδειξε ότι η γέφυρα φασματογράμματος ως εικόνα λειτουργεί, και αυτή η ιδέα ζει τώρα μέσα σε μεγαλύτερα συστήματα ήχου και έγινε η εταιρεία Riffusion. Αναμένετε μελλοντικά εργαλεία για την αντικατάσταση του Griffin-Lim με απώλειες με μαθησμένους νευρικούς φωνοκωδικοποιητές για καθαρότερη φάση και για τον συνδυασμό της διάχυσης φασματογράμματος με λανθάνοντες κωδικοποιητές ήχου. Το ευρύτερο μάθημα, ότι τα μοντέλα εικόνας μπορούν να ανακατευθυνθούν σε νέες μεθόδους, συνεχίζει να επηρεάζει τον τρόπο με τον οποίο οι ερευνητές εκκινούν γεννήτριες ήχου και βίντεο από υπάρχοντες προεκπαιδευμένους κορμούς.
Υλοποίηση σε πραγματικό κόσμο
Δημιουργία σύντομων κομματιών παρασκηνίου για indie βιντεοπαιχνίδια από μια προτροπή κειμένου όπως "tense synthwave chase"
Μορφοποίηση ομαλά ανάμεσα σε δύο μουσικά στυλ, π.χ. αναμειγνύοντας το «tropical house» σε «lo-fi hip hop» σε ένα μόνο κλιπ
Δημιουργία κρεβατιών ατμοσφαιρικής μουσικής χωρίς δικαιώματα για βίντεο και podcast στο YouTube χωρίς τέλη αδειοδότησης
Δημιουργία πρωτοτύπων μελωδικών ή ρυθμικών ιδεών που ένας μουσικός στη συνέχεια ηχογραφεί σωστά σε έναν ψηφιακό σταθμό εργασίας ήχου
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
DiffWave Diffusion Vocoder
Συχνές ερωτήσεις
What is Riffusion Spectrogram Diffusion?
Το Riffusion είναι ένα έξυπνο hack που δημιουργεί μουσική αντιμετωπίζοντας τον ήχο ως εικόνα: ρυθμίζει με ακρίβεια το μοντέλο εικόνας Stable Diffusion για να ζωγραφίσει φασματογράμματα και στη συνέχεια μετατρέπει αυτές τις εικόνες ξανά σε ήχο. Έχει σημασία γιατί δείχνει ότι ένα εργαλείο που έχει κατασκευαστεί για ένα μέσο (εικόνες) μπορεί να παράγει ένα άλλο (μουσική) χωρίς σχεδόν καμία νέα αρχιτεκτονική.
Ποιο υπάρχον μοντέλο AI βελτίωσε το Riffusion για να δημιουργήσει μουσική;
Το Riffusion έχει τελειοποιήσει το Stable Diffusion, ένα μοντέλο διάχυσης εικόνας, για τη δημιουργία εικόνων φασματογράμματος που στη συνέχεια μετατρέπονται σε ήχο.
Τι αντιπροσωπεύει ένα φασματόγραμμα στους δύο άξονές του;
Σε ένα φασματόγραμμα ο οριζόντιος άξονας είναι ο χρόνος, ο κατακόρυφος είναι η συχνότητα και η φωτεινότητα αντιπροσωπεύει την ένταση.
Γιατί το Riffusion χρειάζεται έναν αλγόριθμο όπως ο Griffin-Lim;
Το φασματογράφημα αποθηκεύει το μέγεθος αλλά απορρίπτει τη φάση, έτσι ο Griffin-Lim υπολογίζει επαναληπτικά τη φάση για να ξαναχτίσει μια κυματομορφή με δυνατότητα αναπαραγωγής.
Τι δυνατότητα δίνει η διάχυση στο Riffusion όταν συνδυάζει δύο προτροπές;
Τα μοντέλα διάχυσης μπορούν να παρεμβάλλονται σε λανθάνοντα χώρο, αφήνοντας το Riffusion να μεταμορφώνεται συνεχώς από το ένα μουσικό στυλ στο άλλο.
Πώς δημιουργήθηκε και κυκλοφόρησε αρχικά το Riffusion;
Το Riffusion ξεκίνησε ως έργο χόμπι από τους Seth Forsgren και Hayk Martiros, που κυκλοφόρησε δημόσια στα τέλη του 2022.