Jukebox
Το Jukebox είναι το νευρωνικό δίκτυο του OpenAI για το 2020 που παράγει ακατέργαστο μουσικό ήχο — πλήρες με φωνές τραγουδιού, όργανα, ακόμη και στίχους στο στυλ συγκεκριμένων καλλιτεχνών.
Επισκόπηση
It was a landmark proof that AI could model the actual waveform of song-length music, not just notes.
Βαθιά κατάδυση
Κυκλοφόρησε από την OpenAI τον Απρίλιο του 2020, το Jukebox παράγει μουσική ως ακατέργαστο ήχο και όχι ως συμβολικές νότες, που σημαίνει ότι παράγει τον πραγματικό ήχο, συμπεριλαμβανομένων των φωνητικών. Εκπαιδεύτηκε σε περίπου 1,2 εκατομμύρια τραγούδια (περίπου τα μισά αγγλικά) αποκομμένα από τον Ιστό, σε συνδυασμό με στίχους και μεταδεδομένα από το LyricWiki. Μπορείτε να το ρυθμίσετε σε ένα είδος, ένα στυλ καλλιτέχνη και στίχους, και θα τραγουδήσει αναγνωρίσιμα (αν είναι μουντό) όπως αυτός ο καλλιτέχνης. Οι έξοδοι διαρκούν αρκετά λεπτά. Η σύλληψη είναι η ταχύτητα και η πιστότητα: η παραγωγή ήταν εξαιρετικά αργή, χρειάστηκαν περίπου εννέα ώρες για να αποδοθεί ένα λεπτό ήχου και τα αποτελέσματα έχουν μια βουβή, θορυβώδη ποιότητα. Το Jukebox ήταν έρευνα, όχι ένα εκλεπτυσμένο προϊόν, αλλά αναμόρφωσε τις προσδοκίες για ό,τι ήταν δυνατό.
Τεχνική διορατικότητα
Το Jukebox συμπιέζει τον ακατέργαστο ήχο χρησιμοποιώντας αυτοκωδικοποιητές VQ-VAE σε τρεις χρονικές αναλύσεις, μετατρέποντας μια μεγάλη κυματομορφή σε μια πολύ μικρότερη ακολουθία διακριτών κωδικών. Στη συνέχεια, οι Autoregressive Transformers προβλέπουν αυτούς τους κωδικούς έναν κάθε φορά, ανάλογα με τον καλλιτέχνη, το είδος και τους στίχους, και τα upsampler προσθέτουν λεπτομέρειες υψηλής συχνότητας. Η αποκωδικοποίηση των κωδικών κατώτερου επιπέδου πίσω σε μια κυματομορφή 44,1 kHz είναι αυτό που κάνει τη δημιουργία τόσο αργή, επειδή εκατομμύρια δείγματα ήχου πρέπει να παράγονται διαδοχικά.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Το μέλλον του Jukebox
Το ίδιο το Jukebox είναι σε μεγάλο βαθμό ένα ιστορικό ορόσημο τώρα, που αντικαθίσταται από μοντέλα ταχύτερης διάχυσης και λανθάνοντος ήχου, όπως αυτά πίσω από το Suno και το Udio που δημιουργούν τραγούδια σχεδόν ποιότητας CD σε δευτερόλεπτα. Οι βασικές του ιδέες — διακριτά διακριτικά ήχου και ρύθμιση στίχων — ζουν στα σύγχρονα συστήματα. Αναμένετε τα μελλοντικά μοντέλα ακατέργαστου ήχου να συρρικνώνουν τον χρόνο παραγωγής, να οξύνουν τη φωνητική ευκρίνεια και να προσθέτουν λεπτά χειριστήρια, ενώ τα ζητήματα πνευματικών δικαιωμάτων που έθεσε αρχικά το Jukebox σχετικά με την εκπαίδευση σε ηχογραφήσεις που προστατεύονται από πνευματικά δικαιώματα γίνονται όλο και πιο δυνατά.
Υλοποίηση σε πραγματικό κόσμο
Ερευνητές που μελετούν πώς τα νευρωνικά δίκτυα μπορούν να μοντελοποιήσουν μακράς μορφής ακατέργαστο ήχο και φωνές τραγουδιού, χρησιμοποιώντας το Jukebox ως αρχιτεκτονική αναφοράς.
Μουσικοί και χομπίστες δημιουργούν απόκοσμες, lo-fi «AI διασκευές» που τραγουδούν νέους στίχους στο τραχύ ύφος ενός επιλεγμένου καλλιτέχνη.
Εκπαιδευτικοί που επιδεικνύουν το άλμα από τη δημιουργία νότων σε στυλ MIDI στην πλήρη σύνθεση ακατέργαστου ήχου με φωνητικά.
Σχεδιαστές ήχου και πειραματιστές καλλιτέχνες που συγκομίζουν τις μουντές, ονειρικές υφές του Jukebox ως πρώτη ύλη για remixing και κολάζ.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jukebox quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Συμβολική Μουσική Γενιά
Συχνές ερωτήσεις
What is Jukebox?
Το Jukebox είναι το νευρωνικό δίκτυο του OpenAI για το 2020 που παράγει ακατέργαστο μουσικό ήχο — πλήρες με φωνές τραγουδιού, όργανα, ακόμη και στίχους στο στυλ συγκεκριμένων καλλιτεχνών. Ήταν μια απόδειξη ορόσημο ότι η τεχνητή νοημοσύνη μπορούσε να μοντελοποιήσει την πραγματική κυματομορφή της μουσικής μήκους τραγουδιού, όχι μόνο τις νότες.
Τι είναι αυτό που κάνει το Jukebox να διαφέρει από τα παλαιότερα συστήματα συμβολικής μουσικής όπως τα συστήματα τεχνητής νοημοσύνης που εξάγουν MIDI;
Το Jukebox μοντελοποιεί τον πραγματικό ήχο της μουσικής ως ακατέργαστο ήχο, ώστε να μπορεί να παράγει φωνητικά και ηχοχρώματα οργάνων, σε αντίθεση με τα συμβολικά συστήματα που παράγουν μόνο δεδομένα νότων.
Ποιος κυκλοφόρησε το Jukebox και περίπου πότε;
Ο OpenAI κυκλοφόρησε το Jukebox τον Απρίλιο του 2020 ως μοντέλο έρευνας για τη δημιουργία μουσικής με φωνητικά.
Ποιος ήταν ένας σημαντικός πρακτικός περιορισμός του Jukebox;
Επειδή αποκωδικοποιεί ακατέργαστο δείγμα ήχου ανά δείγμα, το Jukebox χρειάστηκε την τάξη των εννέα ωρών για να παράγει ένα λεπτό μουσικής, καθιστώντας το μη πρακτικό για χρήση σε πραγματικό χρόνο.
Ποια βασική τεχνική χρησιμοποιεί το Jukebox για να κάνει τον μακρύ ακατέργαστο ήχο διαχειρίσιμο για τους Transformers του;
Το Jukebox χρησιμοποιεί αυτόματους κωδικοποιητές VQ-VAE για να συμπιέσει την κυματομορφή σε διακριτά διακριτικά, τα οποία οι Transformers στη συνέχεια μοντελοποιούν αυτοπαλινδρομικά πριν αναβαθμίσουν το δείγμα πίσω στον ήχο.
Σε τι μπορείτε να ρυθμίσετε την έξοδο του Jukebox;
Το Jukebox δέχεται ένα είδος, έναν καλλιτέχνη προς μίμηση και στίχους και θα προσπαθήσει να τραγουδήσει αυτές τις λέξεις σε αυτό το στυλ.