ΕπόμενοΕπόμενος οδηγός
Speech Recognition for People with Atypical Speech
Ήχος AI
ΟΔΗΓΟΣ Audio AI
Αναγνώριση ομιλίας Whisper
Το Whisper είναι το πολύγλωσσο μοντέλο αναγνώρισης ομιλίας του OpenAI, εκπαιδευμένο με μεγάλης κλίμακας αδύναμη επίβλεψη σε περίπου 680.000 ώρες ήχου που συλλέγεται στο διαδίκτυο.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~1 min
Σε αυτήν τη σελίδα1 min read
Επισκόπηση
Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Βαθιά κατάδυση
Introduced in 2022, Whisper is a Transformer encoder-decoder trained on approximately 680,000 hours of multilingual audio paired with transcripts or translation text collected from the web. The data is uneven across languages, and performance varies by language and task. Whisper processes audio in 30-second chunks and uses task and language tokens to select transcription, English translation, or timestamped output. Released weights and inference code are under the MIT license.
Υλοποίηση σε πραγματικό κόσμο
Αυτόματη δημιουργία μεταγραφών και λεζάντων με δυνατότητα αναζήτησης για podcast και βίντεο YouTube
Ενίσχυση εφαρμογών ζωντανών σημειώσεων συσκέψεων που παράγουν περιλήψεις από τον ήχο Zoom ή Teams
Μετάφραση ξενόγλωσσων συνεντεύξεων απευθείας σε αγγλικό κείμενο για δημοσιογράφους
Δημιουργία εργαλείων προσβασιμότητας και υπαγόρευσης ελεγχόμενης φωνής για χρήστες που δεν μπορούν να πληκτρολογήσουν
The Future of Whisper Speech Recognition
Whisper’s release supports transcription and captioning applications. Real-world performance depends on language coverage, audio quality, accents, domain vocabulary, and evaluation conditions. Measure error rates on representative recordings, with human review where transcripts have consequential use.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Πρόσβαση και προσέγγιση χρηστών. Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
- Κόστος και προϋπολογισμός. Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
- Ταχύτητα και κλίμακα. Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Προσέξτε
- Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
- Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
- Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Επόμενα βήματα
- Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
- Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
- Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
- Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Whisper Speech Recognition quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η Αναγνώριση ομιλίας Whisper;
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio. Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Σε πόσες περίπου ώρες ήχου εκπαιδεύτηκε ο Whisper;
Ο Whisper εκπαιδεύτηκε σε περίπου 680.000 ώρες πολυγλωσσικού ήχου πολλαπλών εργασιών που συλλέχθηκε από τον Ιστό, ένα ασυνήθιστα μεγάλο και ποικίλο σύνολο δεδομένων.
Ποια ενδιάμεση αναπαράσταση υπολογίζει ο Whisper από τον ακατέργαστο ήχο πριν από τον κωδικοποιητή;
Το Whisper μετατρέπει κάθε κομμάτι ήχου 30 δευτερολέπτων σε ένα φασματογράφημα log-Mel 80 καναλιών, το οποίο επεξεργάζεται ο κωδικοποιητής Transformer.
Πώς εκτελεί ένα μεμονωμένο μοντέλο Whisper πολλαπλές εργασίες, όπως μεταγραφή και μετάφραση;
Ψιθυρίστε τις συνθήκες σε ειδικά διακριτικά κατά την έναρξη της αποκωδικοποίησης που του λένε τη γλώσσα, την εργασία και αν θα εκπέμψει χρονικές σημάνσεις.
Ποια συνολική νευρωνική αρχιτεκτονική χρησιμοποιεί το Whisper;
Το Whisper είναι ένας μετασχηματιστής κωδικοποιητή-αποκωδικοποιητή: ο κωδικοποιητής διαβάζει το φασματογράφημα και ο αποκωδικοποιητής δημιουργεί διακριτικά κειμένου αυτοπαλινδρομικά.
Γιατί το Whisper θεωρείται ιδιαίτερα ισχυρό σε σύγκριση με παλαιότερα συστήματα ASR;
Η εκπαίδευση σε τεράστιες ποσότητες ποικίλου, πραγματικού ήχου (τονισμοί, θόρυβος, crosstalk) έδωσε στο Whisper ισχυρή εξωφρενική στιβαρότητα χωρίς συντονισμό ανά τομέα.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα