OpenAI Шепот
Whisper — это система автоматического распознавания речи с открытым исходным кодом OpenAI, которая расшифровывает и переводит устную речь на десятки языков.
Обзор
Это важно, потому что оно обеспечило надёжную, бесплатную, почти человеческую транскрипцию для всех, кто может использовать модель.
Глубокое погружение
Выпущенный в сентябре 2022 года, Whisper был обучен примерно 680 000 часов многоязычного и многозадачного аудио, собранного из Интернета. Этот огромный и разнообразный набор данных является секретом его надежности: он гораздо лучше справляется с акцентами, фоновым шумом и техническим жаргоном, чем старые системы, и его не нужно настраивать для каждой новой области. Whisper может транскрибировать речь на языке оригинала, переводить речь со многих языков на английский, определять разговорный язык и добавлять временные метки. OpenAI открыто опубликовал веса модели и код, поэтому она работает локально на ноутбуке или в центре обработки данных, что способствовало взрывному росту количества инструментов сообщества, более быстрой повторной реализации и приложений, созданных на ее основе. Точность зависит от языка и качества звука, и, как и все подобные системы, иногда она может «галлюцинировать» текст.
Техническая информация
Whisper — это кодер-декодер Transformer, обученный для выполнения задачи последовательного преобразования. Аудио преобразуется в спектрограмму log-Mel, визуальное представление частот во времени, которое обрабатывает кодер. Затем декодер прогнозирует текстовые токены, обусловленные специальными токенами, которые сообщают модели, какую задачу выполнять: расшифровывать, переводить, определять язык или добавлять временные метки. Поскольку она извлекла уроки из слабо размеченного веб-аудио для решения многих задач одновременно, одна модель обобщает широко, а не настраивается на один узкий тест.
Стратегическое воздействие
Доступ и охват
Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
Стоимость и бюджет
Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
Скорость и масштаб
Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.
Будущее OpenAI Whisper
Whisper стал строительным блоком по умолчанию для транскрипции, и наблюдается тенденция к созданию более быстрых, меньших по размеру и работающих в реальном времени вариантов, которые работают на телефонах и периферийных устройствах. Ожидайте более тесной поддержки потоковой передачи, лучшего разделения говорящих и интеграции с большими языковыми моделями для очистки, обобщения и живых субтитров. Открытые веса означают, что сообщество продолжает его оптимизировать, в то время как OpenAI и другие продвигают новые речевые модели. Сокращение галлюцинированного текста, особенно в медицинских и юридических целях, остается активным приоритетом.
Реальная реализация
Журналист автоматически расшифровывает записанные интервью, а не печатает их вручную.
Платформа подкастов генерирует доступные для поиска расшифровки и субтитры для каждого эпизода.
Инструмент для встреч создает живые субтитры и письменную запись видеозвонка.
Исследователь переводит полевые записи разговорной речи на английский текст для анализа.
Риски и ограничения
Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
Синтетический звук можно принять за аутентичную речь без четкой маркировки.
Дорожная карта реализации
Получите явное согласие на захват, клонирование и повторное использование голоса.
Проверьте качество звука при использовании различных динамиков и фоновых условий.
Определите, когда человек должен проверять или утверждать результаты.
Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the OpenAI Whisper quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Выравнивание слов с меткой времени
Часто задаваемые вопросы
Что такое OpenAI Whisper?
Whisper — это система автоматического распознавания речи с открытым исходным кодом OpenAI, которая расшифровывает и переводит устную речь на десятки языков. Это важно, потому что оно предоставило надежную, бесплатную, почти человеческую транскрипцию каждому, кто может запустить модель.
Какова основная цель шепота OpenAI?
Whisper — это система автоматического распознавания речи, которая расшифровывает и переводит разговорный звук на многие языки.
На каком примерно объеме звука обучался Whisper?
Whisper обучался примерно на 680 000 часов многоязычного и многозадачного аудио, собранного из Интернета, что обеспечивает его надежность.
Какое представление звука обрабатывает кодер Whisper?
Аудио преобразуется в спектрограмму log-Mel, представление частотного содержания с течением времени, которое считывает кодер Transformer.
Какие возможности Whisper НЕ предоставляет изначально?
Whisper занимается транскрипцией, переводом на английский язык, определением языка и временными метками, но не является генератором видео.
Почему Whisper вызвал волну инструментов и приложений сообщества?
Поскольку OpenAI открыла исходный код весов и кода, разработчики могли запускать Whisper локально и создавать множество инструментов и ускорять повторные реализации.