Utambuzi wa Hotuba ya Whisper
Whisper ni mfumo wa OpenAI wa utambuzi wa usemi wa chanzo huria ambao hubadilisha sauti kuwa maandishi katika lugha 90+.
Muhtasari
It matters because it brought near-human transcription quality to everyone for free, working robustly on accents, background noise, and technical jargon.
Dive ya kina
Iliyotolewa na OpenAI mnamo Septemba 2022, Whisper ni muundo wa kisimbaji kinachotegemea Transformer kilichofunzwa kwa saa 680,000 za sauti za lugha nyingi na za kazi nyingi zilizoondolewa kwenye wavuti. Tofauti na mifumo ya awali iliyohitaji data safi, iliyo na lebo, Whisper alijifunza kutoka kwa rekodi zenye fujo za ulimwengu halisi, na kuifanya iwe rahisi kustahimili lafudhi, kelele na mazungumzo. Muundo mmoja hushughulikia unukuzi, tafsiri kwa Kiingereza, kitambulisho cha lugha na kuweka muhuri wa nyakati. Inasafirishwa kwa ukubwa kutoka 'ndogo' (vigezo 39M) hadi 'kubwa' (1.55B), ikiruhusu watumiaji kubadilishana kasi ili kupata usahihi. Kwa sababu uzani umeidhinishwa waziwazi chini ya MIT, Whisper ikawa uti wa mgongo chaguo-msingi kwa wanakili wengi wa podcast, zana za manukuu, na programu za sauti karibu usiku mmoja.
Ufahamu wa Kiufundi
Whisper hugawanya sauti katika vipande vya sekunde 30, hubadilisha kila moja kuwa spectrogram ya log-Mel (chaneli 80 za masafa), na kuilisha kwa Kisimbaji cha Transformer. Kisha avkodare hutabiri tokeni za maandishi kiotomatiki, zikiongozwa na tokeni maalum zinazobainisha kazi (nukuu dhidi ya kutafsiri), lugha, na ikiwa itatoa mihuri ya muda. Kiyoyozi hiki cha tokeni cha kazi nyingi ndio ujanja wa ujanja: seti moja ya uzani hufanya kazi nyingi kulingana na tokeni za papo hapo zinazotolewa mwanzoni mwa usimbaji.
Athari za kimkakati
Kufikia na kufikia
Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
Cost and budget
Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
Kasi na kiwango
Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Mustakabali wa Utambuzi wa Hotuba ya Whisper
Whisper ilizua wimbi la matoleo ya haraka zaidi kama vile Whisper.cpp, whisper-wisper, na matoleo yaliyochapwa ambayo hutumika kwa wakati halisi kwenye simu na kompyuta ndogo. Tarajia utiririshaji mkali zaidi (muda wa kusubiri wa chini), uwekaji sauti bora wa kipaza sauti uliooanishwa kando yake, na utendakazi thabiti kwenye lugha zenye rasilimali kidogo. Kadiri AI ya sauti iliyo kwenye kifaa inavyokua, miundo ya mtindo mwepesi wa Whisper itawezesha manukuu ya moja kwa moja, madokezo ya mkutano na zana za ufikivu nje ya mtandao kabisa, kuhifadhi faragha huku ikilinganisha usahihi wa kiwango cha wingu.
Utekelezaji wa Ulimwengu Halisi
Inazalisha kiotomatiki manukuu na manukuu ya podikasti na video za YouTube
Kuwezesha programu za madokezo ya moja kwa moja ya mikutano ambayo hutoa muhtasari kutoka kwa sauti ya Zoom au Timu
Kutafsiri mahojiano ya lugha ya kigeni moja kwa moja kwa maandishi ya Kiingereza kwa waandishi wa habari
Kuunda zana za ufikiaji zinazodhibitiwa na sauti na maagizo kwa watumiaji ambao hawawezi kuandika
Hatari & Walinzi
Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Ramani ya Utekelezaji
Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
Jaribu ubora kwenye spika na hali mbalimbali za usuli.
Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Whisper Speech Recognition quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Utambuzi wa Hisia za Hotuba
Maswali yanayoulizwa mara kwa mara
What is Whisper Speech Recognition?
Whisper ni mfumo wa OpenAI wa utambuzi wa usemi wa chanzo huria ambao hubadilisha sauti kuwa maandishi katika lugha 90+. Ni muhimu kwa sababu ilileta ubora wa karibu wa unukuzi kwa kila mtu bila malipo, ikifanya kazi kwa bidii kwenye lafudhi, kelele ya chinichini na jargon ya kiufundi.
Takribani Whisper alifunzwa kwa saa ngapi za sauti?
Whisper alifunzwa kuhusu saa 680,000 za sauti za lugha nyingi, za kazi nyingi zilizokusanywa kutoka kwa wavuti, mkusanyiko mkubwa wa data usio wa kawaida na tofauti.
Ni uwakilishi gani wa kati ambao Whisper anakokotoa kutoka kwa sauti mbichi kabla ya kisimbaji?
Whisper hubadilisha kila sehemu ya sauti ya sekunde 30 kuwa spekrogramu ya log-Mel ya idhaa 80, ambayo kisimbaji cha Transformer huchakata.
Je, muundo mmoja wa Whisper hufanyaje kazi nyingi kama vile unukuzi na tafsiri?
Masharti ya kunong'ona kwenye tokeni maalum mwanzoni mwa usimbaji zinazoiambia lugha, kazi na ikiwa itatoa muhuri wa muda.
Whisper hutumia usanifu gani wa jumla wa neva?
Whisper ni Kibadilishaji cha kusimbuaji-kisimbaji: kisimbaji husoma spectrogram na avkodare huzalisha tokeni za maandishi kiotomatiki.
Kwa nini Whisper inachukuliwa kuwa imara zaidi ikilinganishwa na mifumo ya awali ya ASR?
Mafunzo juu ya kiasi kikubwa cha sauti mbalimbali, za ulimwengu halisi (lafudhi, kelele, mazungumzo tofauti) yalimpa Whisper uimara wa nje ya kisanduku bila urekebishaji wa kila kikoa.