ДаліНаступний посібник
Speech Recognition for People with Atypical Speech
Аудіо AI
Аудіо AI GUIDE
Розпізнавання шепітної мови
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio.
Послухайте цей посібникШІ-розказаний · ~1 min
На цій сторінці1 хв читання
Огляд
Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Глибоке занурення
Introduced in 2022, Whisper is a Transformer encoder-decoder trained on approximately 680,000 hours of multilingual audio paired with transcripts or translation text collected from the web. The data is uneven across languages, and performance varies by language and task. Whisper processes audio in 30-second chunks and uses task and language tokens to select transcription, English translation, or timestamped output. Released weights and inference code are under the MIT license.
Реалізація в реальному світі
Автоматичне створення розшифровок із можливістю пошуку та субтитрів для подкастів і відео YouTube
Підтримка додатків для нотаток наради, які створюють підсумки з аудіо Zoom або Teams
Переклад іноземних інтерв'ю безпосередньо на англійський текст для журналістів
Створення інструментів доступності з голосовим керуванням і диктування для користувачів, які не вміють друкувати
Майбутнє розпізнавання шепітної мови
Whisper’s release supports transcription and captioning applications. Real-world performance depends on language coverage, audio quality, accents, domain vocabulary, and evaluation conditions. Measure error rates on representative recordings, with human review where transcripts have consequential use.
Застосування на практиці
Чому це важливо
- Доступ і охоплення. Це покращує доступність завдяки транскрипції, дикторському тексту та голосовому інтерфейсу.
- Вартість і бюджет. Медіа-команди можуть доставляти якісний аудіо швидше за менші бюджети.
- Швидкість і масштаб. Системи, орієнтовані на клієнта, можуть обробляти голосову взаємодію у більшому масштабі.
Зверніть увагу на
- Ризик неправильного використання голосу та видавання себе за іншу особу зростає, якщо згоди немає.
- Точність може впасти через акценти, діалекти чи шумне середовище.
- Синтетичне аудіо можна прийняти за автентичне мовлення без чіткого маркування.
Наступні кроки
- Отримайте чітку згоду на захоплення голосу, клонування та повторне використання.
- Перевірте якість на різних динаміках і фонових умовах.
- Визначте, коли людина повинна переглядати або затверджувати результати.
- Позначайте синтетичне аудіо та зберігайте записи про походження для підзвітності.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Whisper Speech Recognition quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке розпізнавання шепітної мови?
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio. Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Приблизно на скількох годинах аудіо було навчено Whisper?
Whisper навчався на приблизно 680 000 годинах багатомовного, багатозадачного аудіо, зібраного з Інтернету, надзвичайно великого та різноманітного набору даних.
Яке проміжне представлення обчислює Whisper із необробленого аудіо перед кодувальником?
Whisper перетворює кожну 30-секундну аудіофрагмент у 80-канальну спектрограму log-Mel, яку обробляє кодер Transformer.
Як одна модель Whisper виконує кілька завдань, наприклад транскрипцію та переклад?
Умови шепоту на спеціальних токенах на початку декодування, які вказують мову, завдання та чи видавати мітки часу.
Яку загальну нейронну архітектуру використовує Whisper?
Whisper — це кодер-декодер Transformer: кодер зчитує спектрограму, а декодер авторегресійно генерує текстові маркери.
Чому Whisper вважається особливо надійним порівняно з попередніми системами ASR?
Навчання величезній кількості різноманітного аудіо в реальному світі (акценти, шуми, перехресні перешкоди) дало Whisper потужну стандартну надійність без налаштування для кожного домену.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми