MusicGen
Το MusicGen είναι το μοντέλο τεχνητής νοημοσύνης του Meta που δημιουργεί μουσική από μια περιγραφή κειμένου και προαιρετικά μια μελωδία που βουίζεις ή ανεβάζεις.
Επισκόπηση
It matters because it puts high-quality, controllable music creation into a single, openly released model that hobbyists and researchers can actually run.
Βαθιά κατάδυση
Κυκλοφόρησε από Meta AI το 2023 ως μέρος του έργου AudioCraft, το MusicGen μετατρέπει προτροπές όπως «ένα αισιόδοξο synth-pop κομμάτι της δεκαετίας του '80 με δυναμική γραμμή μπάσου» σε κλιπ μουσικής περίπου 12 δευτερολέπτων (με δυνατότητα επέκτασης). Σε αντίθεση με τα συστήματα πολλαπλών σταδίων, το MusicGen χρησιμοποιεί ένα μόνο μοντέλο γλώσσας Transformer που προβλέπει διακριτικά ήχου που παράγονται από τον νευρωνικό κωδικοποιητή EnCodec του Meta. Η έξυπνη συνεισφορά του είναι ένα μοτίβο παρεμβολής διακριτικών (που ονομάζεται παρεμβολή καθυστέρησης) που επιτρέπει σε ένα μοντέλο να χειρίζεται αποτελεσματικά τις πολλαπλές παράλληλες ροές διακριτικών του EnCodec, αποφεύγοντας τον καταρράκτη ξεχωριστών μοντέλων που απαιτούνται παλαιότερες προσεγγίσεις. Το MusicGen μπορεί να καθοδηγηθεί με δύο τρόπους ταυτόχρονα: με μια περιγραφή κειμένου και με μια μελωδία αναφοράς, ώστε να μπορείτε να ζητήσετε μια 'jazz έκδοση' μιας μελωδίας που βουίζεις. Ο Meta κυκλοφόρησε ανοιχτά τον κώδικα και τα βάρη, τροφοδοτώντας ένα κύμα εργαλείων και πειραμάτων της κοινότητας.
Τεχνική διορατικότητα
Το MusicGen αντιπροσωπεύει τον ήχο ως παράλληλες ροές διακριτών διακριτικών από τον κωδικοποιητή EnCodec, με κάθε ροή να καταγράφει διαφορετικές λεπτομέρειες. Αντί να μοντελοποιεί ροές με ξεχωριστά μοντέλα, το MusicGen τις παρεμβάλλει με ελεγχόμενες καθυστερήσεις, έτσι ώστε ένας μόνο αυτοπαλινδρομικός μετασχηματιστής να τις προβλέπει με ένα πέρασμα. Η προετοιμασία κειμένου προέρχεται από έναν κωδικοποιητή κειμένου T5, ενώ η προαιρετική ρύθμιση μελωδίας χρησιμοποιεί ένα χρωμάγραμμα (το προφίλ της κατηγορίας του ήχου) έτσι ώστε το μοντέλο να ακολουθεί μια μελωδία χωρίς να αντιγράφει την ακριβή εγγραφή του.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
The Future of MusicGen
Η ανοιχτή κυκλοφορία του MusicGen έθεσε μια βάση που οι διάδοχοι στοχεύουν να ξεπεράσουν με μεγαλύτερη, υψηλότερη πιστότητα και στερεοφωνική απόδοση, καθώς και καλύτερο έλεγχο στη δομή, τα όργανα και τα τμήματα τραγουδιών. Αναμένετε στενότερη ενσωμάτωση στο λογισμικό παραγωγής μουσικής, διαδραστική παραγωγή σε πραγματικό χρόνο και καλύτερα εργαλεία για την επεξεργασία ή την επέκταση υπαρχόντων κομματιών. Όπως συμβαίνει με όλη τη μουσική παραγωγής, οξύνει τα ερωτήματα σχετικά με τα πνευματικά δικαιώματα των δεδομένων εκπαίδευσης, την αποζημίωση καλλιτέχνη και τον τρόπο επισήμανσης τραγουδιών που δημιουργούνται από AI σε μια πλημμυρισμένη αγορά.
Υλοποίηση σε πραγματικό κόσμο
Δημιουργία μουσικής υπόκρουσης χωρίς δικαιώματα για ένα βίντεο YouTube από μια προτροπή κειμένου
Σουμουρίζοντας μια μελωδία και ζητώντας από τη MusicGen μια πλήρη ορχηστρική διασκευή της
Οι προγραμματιστές παιχνιδιών φτιάχνουν γρήγορα πρωτότυπα μουσικά κομμάτια σε διαφορετικά είδη
Ερευνητές και χομπίστες τρέχουν τα βάρη ανοιχτού κώδικα για να πειραματιστούν με τη μετατροπή κειμένου σε μουσική
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MusicGen quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Αναγκαστική ευθυγράμμιση
Συχνές ερωτήσεις
What is MusicGen?
Το MusicGen είναι το μοντέλο τεχνητής νοημοσύνης του Meta που δημιουργεί μουσική από μια περιγραφή κειμένου και προαιρετικά μια μελωδία που βουίζεις ή ανεβάζεις. Έχει σημασία γιατί τοποθετεί υψηλής ποιότητας, ελεγχόμενη μουσική δημιουργία σε ένα ενιαίο, ανοιχτά δημοσιευμένο μοντέλο που μπορούν πραγματικά να εκτελέσουν οι χομπίστες και οι ερευνητές.
Ποια δύο είδη εισόδου μπορούν να κατευθύνουν ταυτόχρονα το MusicGen;
Το MusicGen δέχεται μια προτροπή κειμένου και, προαιρετικά, μια μελωδία, ώστε να μπορείτε να ζητήσετε μια στιλιστική έκδοση μιας μελωδίας που παρέχετε.
Ποιος νευρωνικός κωδικοποιητής παράγει τα διακριτικά ήχου που προβλέπει η MusicGen;
Το MusicGen διαμορφώνει διακριτά διακριτικά που δημιουργούνται από τον κωδικοποιητή EnCodec του Meta, ο οποίος επίσης αποκωδικοποιεί τα προβλεπόμενα διακριτικά ξανά στον ήχο.
Ποια είναι η βασική αρχιτεκτονική απλοποίηση της MusicGen σε σχέση με προηγούμενες προσεγγίσεις;
Με την παρεμβολή των παράλληλων ροών διακριτικών του EnCodec με ελεγχόμενες καθυστερήσεις, ένας αυτοπαλινδρομικός μετασχηματιστής μπορεί να τα μοντελοποιήσει σε ένα μόνο πέρασμα, αποφεύγοντας μια σειρά μοντέλων.
Πώς το MusicGen ακολουθεί μια παρεχόμενη μελωδία χωρίς να αντιγράφει την ακριβή ηχογράφηση;
Ένα χρωμάγραμμα αποτυπώνει ποιες τάξεις τόνου υπάρχουν με την πάροδο του χρόνου, επιτρέποντας στο MusicGen να ταιριάζει με την αρμονία και το περίγραμμα της μελωδίας χωρίς να αναπαράγει την αρχική χροιά.
Ποιο έργο και εταιρεία κυκλοφόρησε το MusicGen;
Το MusicGen κυκλοφόρησε το 2023 ως μέρος του έργου AudioCraft της Meta AI, με ανοιχτό κώδικα και βάρη μοντέλου.