Il prossimoProssima guida
Riconoscimento vocale su dispositivo
IA audio
GUIDA AI audio
Whisper can sometimes output plausible words when an audio segment contains little or no intelligible speech.
Ascolta questa guidaNarrato dall'IA · ~3 min
Its research paper documents transcript text unrelated to audio as a failure mode, and its open-source transcription code includes silence and possible-hallucination controls. Those controls reduce some cases but do not certify every word; important transcripts still need checks against the recording.
A speech recognizer is asked to map audio to text, but not every segment contains words. The original Whisper paper describes several failure modes of sequence-to-sequence transcription, including repetitions, missed segment edges and hallucinations in which output text is unrelated to the audio. Long pauses, music or low-level noise can create conditions where the decoder produces plausible language despite weak speech evidence. The exact triggers vary with model, audio and decoding setup; silence does not always cause hallucination, and real faint speech must not be discarded casually. Whisper’s open-source transcription implementation has a no-speech probability and decoding thresholds to consider a segment silent. It also exposes a possible-hallucination silence threshold in a word-timestamp workflow. These are heuristics, not proof of what someone said. Tuning a threshold too aggressively can remove quiet words; leaving it too permissive can preserve invented text. A separate voice-activity detector may help segment audio, but it can also make mistakes on whispers, accents, laughter or distant speakers. Detection needs direct evidence. Compare the transcript with the recording at the reported time, look for words in regions without speech energy, and examine repetitions or abrupt topic changes. Human listeners may also struggle with noisy audio, so mark uncertain spans rather than guessing. Test negative examples containing silence and non-speech sounds, and positive examples containing faint real speech. Report false text and missed speech separately. A low average word error rate on spoken clips cannot establish safety on quiet segments that were not included in the test. This matters wherever a transcript becomes a record. An invented sentence can distort an interview, subtitle or care note even if the rest is accurate. Preserve audio, timestamps, model version and processing settings for audit. Do not use unsupported segments for decisions or publication without review. The correct fallback for insufficient audio evidence is uncertainty, not a fluent completion.
An editor listens to a silent stretch after an interview where a model inserted a fluent sentence.
A research team includes music, room tone and quiet non-speech segments in transcription tests.
A developer records whether a no-speech threshold suppresses false text without dropping faint real speech.
Un flusso di lavoro per la documentazione clinica rifiuta di trattare un segmento di trascrizione non supportato come discorso del paziente.
Una migliore rilevazione del discorso/non-discorso e vincoli di decodifica possono ridurre le trascrizioni inventate, ma un modello che scrive un linguaggio fluente avrà comunque bisogno di test su input non vocali. Gli strumenti possono segnalare il testo allineato a regioni molto silenziose e rendere facile la riproduzione dell'audio originale. La valutazione dovrebbe pubblicare i tassi di trascrizione falsa sul silenzio e i tassi di parole perse sul discorso sommesso, non solo un punteggio WER. I flussi di lavoro ad alto rischio dovrebbero richiedere un revisore per i segmenti incerti e conservare una registrazione originale auditabile. Gli utenti traggono vantaggio quando il sistema visualizza "audio non chiaro" anziché fabbricare una frase plausibile.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Whisper a volte può produrre parole plausibili quando un segmento audio contiene poco o nessun discorso intelligibile. Il suo paper di ricerca documenta il testo della trascrizione non correlato all'audio come modalità di fallimento e il suo codice di trascrizione open source include controlli per il silenzio e le possibili allucinazioni. Questi controlli riducono alcuni casi ma non certificano ogni parola; le trascrizioni importanti hanno comunque bisogno di verifiche rispetto alla registrazione.
An editor listens to a silent stretch after an interview where a model inserted a fluent sentence. A research team includes music, room tone and quiet non-speech segments in transcription tests. A developer records whether a no-speech threshold suppresses false text without dropping faint real speech. Un flusso di lavoro per la documentazione clinica rifiuta di trattare un segmento di trascrizione non supportato come discorso del paziente.
Una migliore rilevazione del discorso/non-discorso e vincoli di decodifica possono ridurre le trascrizioni inventate, ma un modello che scrive un linguaggio fluente avrà comunque bisogno di test su input non vocali. Gli strumenti possono segnalare il testo allineato a regioni molto silenziose e rendere facile la riproduzione dell'audio originale. La valutazione dovrebbe pubblicare i tassi di trascrizione falsa sul silenzio e i tassi di parole perse sul discorso sommesso, non solo un punteggio WER. I flussi di lavoro ad alto rischio dovrebbero richiedere un revisore per i segmenti incerti e conservare una registrazione originale auditabile. Gli utenti traggono vantaggio quando il sistema visualizza "audio non chiaro" anziché fabbricare una frase plausibile.
Il codice documenta il controllo in un flusso di lavoro con timestamp delle parole.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Riconoscimento vocale su dispositivo
IA audio