СледваСледващо ръководство
Speech Recognition for People with Atypical Speech
Аудио AI
Аудио AI РЪКОВОДСТВО
Разпознаване на шепот
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio.
Чуйте това ръководствоAI-разказан · ~1 min
На тази страница1 минута четене
Преглед
Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Дълбоко гмуркане
Introduced in 2022, Whisper is a Transformer encoder-decoder trained on approximately 680,000 hours of multilingual audio paired with transcripts or translation text collected from the web. The data is uneven across languages, and performance varies by language and task. Whisper processes audio in 30-second chunks and uses task and language tokens to select transcription, English translation, or timestamped output. Released weights and inference code are under the MIT license.
Внедряване в реалния свят
Автоматично генериране на преписи и надписи с възможност за търсене за подкасти и видеоклипове в YouTube
Подхранване на приложения за бележки от срещи на живо, които произвеждат резюмета от Zoom или Teams audio
Превод на чуждоезични интервюта директно на английски текст за журналисти
Изграждане на инструменти за достъпност с гласово управление и диктовка за потребители, които не могат да пишат
Бъдещето на разпознаването на шепот
Whisper’s release supports transcription and captioning applications. Real-world performance depends on language coverage, audio quality, accents, domain vocabulary, and evaluation conditions. Measure error rates on representative recordings, with human review where transcripts have consequential use.
Прилагайки го на практика
Защо има значение
- Достъп и обхват. Той подобрява достъпността чрез интерфейси за транскрипция, дикторски текст и глас.
- Разходи и бюджет. Медийните екипи могат да доставят изпипано аудио по-бързо с по-малки бюджети.
- Скорост и мащаб. Системите, насочени към клиента, могат да обработват устни взаимодействия в по-голям мащаб.
Внимавайте за
- Рисковете от злоупотреба с глас и имитация се увеличават, когато липсва съгласие.
- Точността може да спадне при акценти, диалекти или шумна среда.
- Синтетичното аудио може да бъде сбъркано с автентична реч без ясно етикетиране.
Следващи стъпки
- Получете изрично съгласие за улавяне на глас, клониране и повторно използване.
- Тествайте качеството при различни високоговорители и фонови условия.
- Определете кога човек трябва да прегледа или одобри резултатите.
- Етикетирайте синтетичното аудио и поддържайте записи за произход за отчетност.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Whisper Speech Recognition quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е разпознаване на шепот?
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio. Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Приблизително на колко часа аудио е бил обучен Whisper?
Whisper беше обучен на около 680 000 часа многоезично, многозадачно аудио, събрано от мрежата, необичайно голям и разнообразен набор от данни.
Какво междинно представяне изчислява Whisper от сурово аудио преди енкодера?
Whisper преобразува всяка 30-секундна аудио част в 80-канална log-Mel спектрограма, която енкодерът Transformer обработва.
Как един модел Whisper изпълнява множество задачи като транскрипция и превод?
Условия за шепнене на специални токени в началото на декодирането, които му казват езика, задачата и дали да излъчва времеви клейма.
Каква цялостна невронна архитектура използва Whisper?
Whisper е енкодер-декодер Transformer: енкодерът чете спектрограмата, а декодерът генерира текстови токени авторегресивно.
Защо Whisper се счита за особено здрав в сравнение с по-ранните ASR системи?
Обучението върху огромни количества разнообразно аудио от реалния свят (акценти, шум, кръстосано смущаване) даде на Whisper силна готовност извън кутията без настройка за всеки домейн.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема