ΕπόμενοΕπόμενος οδηγός
AudioGen Σύνθεση κειμένου σε ήχο
Ήχος AI
ΟΔΗΓΟΣ Audio AI
DDSP Διαφοροποιήσιμη σύνθεση ήχου
Το DDSP (Differentiable Digital Signal Processing) συγχωνεύει κλασικά δομικά στοιχεία του συνθεσάιζερ με νευρωνικά δίκτυα, έτσι ώστε η βαθιά εκμάθηση να μπορεί να ελέγχει απευθείας ταλαντωτές και φίλτρα.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It produces strikingly natural, controllable instrument sounds with tiny models and little data.
Βαθιά κατάδυση
Το DDSP, που εισήχθη από την ομάδα του Magenta του Google το 2020, επανεξετάζει τη δημιουργία νευρικού ήχου. Αντί για ένα δίκτυο που προβλέπει ακατέργαστα δείγματα ήχου ένα κάθε φορά (όπως το WaveNet) ή εικονοστοιχεία ενός φασματογράμματος, το DDSP καθιστά διαφοροποιήσιμα τα παραδοσιακά στοιχεία DSP - έναν αρμονικό πρόσθετο ταλαντωτή, μια φιλτραρισμένη γεννήτρια θορύβου και την αντήχηση. Αυτό σημαίνει ότι οι κλίσεις μπορούν να ρέουν μέσω αυτών κατά τη διάρκεια της εκπαίδευσης, έτσι ένα μικρό νευρωνικό δίκτυο μαθαίνει να εξάγει ερμηνεύσιμα σήματα ελέγχου: το θεμελιώδες βήμα, τη συνολική ένταση και τα πλάτη δεκάδων αρμονικών με την πάροδο του χρόνου. Στη συνέχεια, ένας συνθεσάιζερ αποδίδει τον πραγματικό ήχο από αυτά τα στοιχεία ελέγχου. Επειδή η φυσική του ήχου ενσωματώνεται στην αρχιτεκτονική αντί να μαθαίνεται από το μηδέν, το DDSP επιτυγχάνει υψηλή ποιότητα με πολύ λιγότερες παραμέτρους και παραδείγματα εκπαίδευσης και επιτρέπει στους χρήστες να χειρίζονται ανεξάρτητα τον τόνο, την ένταση και το ηχόχρωμα — ακόμη και να εκτελούν μεταφορά ηχοχρώματος, όπως να παίζουν μια τραγουδιστική φωνή ως βιολί.
Υλοποίηση σε πραγματικό κόσμο
Εργαλεία μεταφοράς χροιάς που παίρνουν μια βουητό ή τραγουδισμένη μελωδία και την αποδίδουν ξανά ως βιολί, φλάουτο ή τρομπέτα σε πραγματικό χρόνο.
Ελαφριά πρόσθετα νευρωνικού συνθεσάιζερ που ελέγχουν οι μουσικοί με διαισθητικά κουμπιά τόνου, έντασης και φωτεινότητας.
Διόρθωση τόνου και εκφραστική επανασύνθεση ηχογραφημένων οργάνων διατηρώντας παράλληλα τις φυσικές αρμονικές λεπτομέρειες.
Διαδραστικές επιδείξεις μουσικής που βασίζονται σε πρόγραμμα περιήγησης που παράγουν ρεαλιστικούς ήχους οργάνων χωρίς βαριά μοντέλα GPU.
Το μέλλον του DDSP Differentiable Audio Synthesis
Το DDSP προωθεί νευρωνικά όργανα σε πραγματικό χρόνο, χαμηλής καθυστέρησης και ηχητικά εφέ που εκτελούνται σε μέτριο υλικό, συμπεριλαμβανομένου του προγράμματος περιήγησης και σε ενσωματωμένες συσκευές. Τα ερμηνεύσιμα χειριστήρια του το καθιστούν ιδανικό για εκφραστικά εργαλεία απόδοσης και υβριδικά συνθεσάιζερ όπου οι μουσικοί καλούν απευθείας την ηχογράφηση. Οι ερευνητές επεκτείνουν την ιδέα του διαφοροποιήσιμου DSP στη φυσική μοντελοποίηση, την ακουστική δωματίου και τις πλήρεις αλυσίδες παραγωγής ήχου, συνδυάζοντας τη δυνατότητα ελέγχου της κλασικής επεξεργασίας σήματος με τον ρεαλισμό της βαθιάς μάθησης στη δημιουργία μουσικής και τη σχεδίαση ήχου.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Πρόσβαση και προσέγγιση χρηστών. Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
- Κόστος και προϋπολογισμός. Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
- Ταχύτητα και κλίμακα. Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Προσέξτε
- Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
- Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
- Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Επόμενα βήματα
- Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
- Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
- Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
- Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the DDSP Differentiable Audio Synthesis quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is DDSP Differentiable Audio Synthesis?
Το DDSP (Differentiable Digital Signal Processing) συγχωνεύει κλασικά δομικά στοιχεία του συνθεσάιζερ με νευρωνικά δίκτυα, έτσι ώστε η βαθιά εκμάθηση να μπορεί να ελέγχει απευθείας ταλαντωτές και φίλτρα. Παράγει εντυπωσιακά φυσικούς, ελεγχόμενους ήχους οργάνων με μικροσκοπικά μοντέλα και λίγα δεδομένα.
Ποια είναι η βασική καινοτομία πίσω από το DDSP;
Το DDSP μετατρέπει τα παραδοσιακά δομικά στοιχεία του συνθεσάιζερ σε διαφοροποιήσιμες ενότητες, επιτρέποντας σε ένα νευρωνικό δίκτυο να μάθει να τα ελέγχει μέσω της backpropagation.
Στο DDSP, τι βγάζει πραγματικά το νευρωνικό δίκτυο;
Το δίκτυο προβλέπει παραμέτρους ελέγχου που μεταβάλλονται χρονικά και ένας ξεχωριστός διαφοροποιήσιμος συνθεσάιζερ αποδίδει τον ήχο από αυτές — δεν βγάζει ποτέ δείγματα απευθείας.
Ποια δύο βασικά στοιχεία παραγωγής ήχου συνδυάζει ο φασματικός συνθεσάιζερ του DDSP;
Ένας αρμονικός προσθετικός ταλαντωτής παράγει το κεκλιμένο, αρμονικό μέρος ενώ ο φιλτραρισμένος θόρυβος προσθέτει αναπνοή και αναρμονική υφή.
Γιατί το DDSP μπορεί να επιτύχει υψηλή ποιότητα με σχετικά μικρά μοντέλα και λίγα δεδομένα;
Επειδή η γνωστή δομή επεξεργασίας σήματος είναι ενσωματωμένη αντί να μαθαίνεται από την αρχή, το δίκτυο έχει πολύ λιγότερα να μάθει, βελτιώνοντας την απόδοση δεδομένων και παραμέτρων.
Ποια λειτουργία απώλειας χρησιμοποιεί το DDSP για να συγκρίνει ισχυρά τον ήχο που δημιουργείται και στοχεύει;
Η σύγκριση φασματογραμμάτων μεγέθους σε πολλαπλές αναλύσεις είναι ανθεκτική στις διαφορές φάσης, με τις οποίες παλεύουν οι απώλειες σε επίπεδο δείγματος.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα