ДалееСледующее руководство
Speech Recognition for People with Atypical Speech
Аудио ИИ
Аудио РУКОВОДСТВО ПО ИИ
Распознавание шепотной речи
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio.
Прослушайте это руководствоОзвучено ИИ · ~1 min
На этой странице1 минута чтения
Обзор
Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Глубокое погружение
Introduced in 2022, Whisper is a Transformer encoder-decoder trained on approximately 680,000 hours of multilingual audio paired with transcripts or translation text collected from the web. The data is uneven across languages, and performance varies by language and task. Whisper processes audio in 30-second chunks and uses task and language tokens to select transcription, English translation, or timestamped output. Released weights and inference code are under the MIT license.
Реальная реализация
Автоматическое создание расшифровок и подписей для подкастов и видео на YouTube с возможностью поиска.
Использование приложений для заметок о собраниях в режиме реального времени, которые создают сводки из аудио Zoom или Teams.
Перевод интервью на иностранном языке непосредственно на английский текст для журналистов
Создание инструментов доступности с голосовым управлением и диктовки для пользователей, которые не умеют печатать.
Будущее распознавания шепотной речи
Whisper’s release supports transcription and captioning applications. Real-world performance depends on language coverage, audio quality, accents, domain vocabulary, and evaluation conditions. Measure error rates on representative recordings, with human review where transcripts have consequential use.
Применение на практике
Почему это важно
- Доступ и охват. Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
- Стоимость и бюджет. Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
- Скорость и масштаб. Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.
Следите за
- Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
- Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
- Синтетический звук можно принять за аутентичную речь без четкой маркировки.
Следующие шаги
- Получите явное согласие на захват, клонирование и повторное использование голоса.
- Проверьте качество звука при использовании различных динамиков и фоновых условий.
- Определите, когда человек должен проверять или утверждать результаты.
- Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Whisper Speech Recognition quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое распознавание шепота?
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio. Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Примерно на скольких часах аудио тренировался Whisper?
Whisper обучался на около 680 000 часов многоязычного и многозадачного аудио, собранного из Интернета — необычайно большого и разнообразного набора данных.
Какое промежуточное представление Whisper вычисляет из необработанного аудио перед кодировщиком?
Whisper преобразует каждый 30-секундный фрагмент аудио в 80-канальную спектрограмму log-Mel, которую обрабатывает кодер Transformer.
Как одна модель Whisper выполняет несколько задач, таких как транскрипция и перевод?
Условия шепота для специальных токенов в начале декодирования, которые сообщают ему язык, задачу и необходимость выдачи меток времени.
Какую общую нейронную архитектуру использует Whisper?
Whisper — это преобразователь кодер-декодер: кодер считывает спектрограмму, а декодер генерирует текстовые токены авторегрессионным способом.
Почему Whisper считается особенно надежным по сравнению с более ранними системами ASR?
Обучение на огромном количестве разнообразного реального звука (акценты, шум, перекрестные помехи) обеспечило Whisper высокую надежность без дополнительной настройки для каждого домена.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме