AI ni Kika Ète ati Idanimọ Ọrọ Wiwo
Idanimọ ọrọ ojuran nlo AI lati ka awọn ète, sọtẹlẹ awọn ọrọ sisọ lati iṣipopada ẹnu eniyan, ẹnu, ati oju, nigbami laisi ohun afetigbọ eyikeyi.
Akopọ
O ṣe pataki fun awọn agbegbe ariwo, wiwọle, ati apapọ pẹlu ohun fun idanimọ ọrọ ti o lagbara diẹ sii.
Jin Dive
Kika ète jẹ lile paapaa fun eniyan nitori ọpọlọpọ awọn ohun dabi aami kanna ni awọn ète. Awọn ohun /p/, /b/, ati /m/, fun apẹẹrẹ, ṣe agbekalẹ ẹgbẹ kan 'viseme' ti ko ṣe iyatọ oju, nitorina ọrọ-ọrọ jẹ pataki. Awọn awoṣe AI bii Google DeepMind's LipNet ati awọn eto 'Watch, Watch and Spell' nigbamii kọ ẹkọ lati ṣe maapu awọn ilana ti awọn fireemu fidio ẹnu-ẹkun si awọn kikọ tabi awọn ọrọ, nigbami o ṣe adaṣe awọn oluka ete eniyan alamọdaju lori awọn ipilẹ data ala. Awọn ọna ṣiṣe ti o lagbara julọ jẹ oju-orin: wọn da fidio ti awọn ète pọ pẹlu ifihan ohun afetigbọ nitori pe nigba ariwo ba ohun naa jẹ, ṣiṣan wiwo kun aafo naa. Iṣe ṣi silẹ ni mimu pẹlu ina ti ko dara, awọn iyipada ori, awọn idilọwọ bi ọwọ tabi awọn iboju iparada, ati awọn agbọrọsọ ti ko mọ.
Imọ-imọ-ẹrọ
Awoṣe aṣoju kan ṣe agbejade agbegbe ti o muna ni ayika ẹnu, lẹhinna kọja ilana fireemu nipasẹ opin iwaju convolutional 3D lati mu awọn ilana iṣipopada kukuru, atẹle nipasẹ oluyipada tabi nẹtiwọọki loorekoore ti o ṣe awoṣe ipo igba diẹ gun. Ijade jẹ iyipada sinu ọrọ nipa lilo CTC tabi awọn ọna ti o da lori akiyesi-si-tẹle. Iwapọ ohun-iwoye ṣe akojọpọ awọn ọna meji naa ki ọkọọkan le sanpada fun awọn ailagbara miiran.
Ipa Ilana
Kọ awọn yiyan
Apẹrẹ ipele-ohun elo pinnu boya AI ṣe ilọsiwaju awọn abajade gidi.
Ẹgbẹ ati ṣiṣan iṣẹ
Ijọpọ iṣan-iṣẹ ti o dara ṣẹda awọn anfani iṣẹ-ṣiṣe ti awọn olumulo le gbẹkẹle.
Ewu ati ailewu
Awọn ọran lilo ti iwọn daradara dinku rirẹ iyipada ati eewu imuse.
Ọjọ iwaju ti AI ni kika Lip ati idanimọ Ọrọ Wiwo
Reti kika ete lati wa ni ifibọ pupọ julọ bi oluranlọwọ si awọn ọna ṣiṣe ohun dipo ohun elo ti o duro, imudarasi awọn oluranlọwọ ohun ati ifori ni awọn aaye ariwo. Iṣẹ n tẹsiwaju lori awọn awoṣe olominira agbọrọsọ, agbara ina kekere, ati sisẹ ẹrọ fun aṣiri. Nítorí pé kíkà ètè ìkọ̀kọ̀ gbé àwọn àníyàn ìṣọ́ kedere, ìṣàkóso àti àwọn ìlànà ìfọwọ́sowọ́pọ̀ yóò ṣeé ṣe láti jẹ́ ibi tí a ti lè gbé e lọ gẹ́gẹ́ bí ìmọ̀ ẹ̀rọ fúnra rẹ̀.
Real-World imuse
Igbega deede-iranlọwọ ohun ni ọkọ ayọkẹlẹ alariwo tabi yara ti o kunju nipa kika awọn ète agbọrọsọ lẹgbẹẹ ohun
Ṣe iranlọwọ fun mimu-pada sipo ọrọ fun awọn eniyan ti o padanu ohun wọn nipa kika awọn agbeka ẹnu
Imudara awọn ifori aifọwọyi nigbati gbohungbohun kan gbe ariwo isale ti o wuwo
Oniwadi tabi itupalẹ ile ifi nkan pamosi ngbiyanju lati bọsipọ ọrọ sisọ lati ipalọlọ tabi aworan ti o dakẹ
Awọn ewu & Awọn ọna iṣọ
Ṣiṣẹda ilana fifọ le ṣe alekun awọn iṣoro to wa tẹlẹ.
Awọn ẹgbẹ le ṣe adaṣe adaṣe ki o yọ idajọ eniyan ti o nilo kuro.
Didara le fò ti awọn abajade ko ba ni iṣiro nigbagbogbo.
Ilana Ilana imuse
Ṣe maapu iṣan-iṣẹ lọwọlọwọ ki o ṣe idanimọ igbesẹ ti o ga julọ.
Ṣe alaye awọn aaye ayẹwo eniyan ṣaaju adaṣe ni kikun.
Kọ awọn olumulo lori awọn itọsi, awọn ọna igbega, ati awọn iṣedede didara.
Tọpinpin awọn abajade ipele-ṣiṣe lati jẹrisi iye idaduro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI in Lip Reading and Visual Speech Recognition quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ifarahan Ọrọ idanimọ
Awọn ibeere ti a beere nigbagbogbo
Kini AI ni Kika Ète ati Idanimọ Ọrọ Wiwo?
Idanimọ ọrọ ojuran nlo AI lati ka awọn ète, sọtẹlẹ awọn ọrọ sisọ lati iṣipopada ẹnu eniyan, ẹnu, ati oju, nigbami laisi ohun afetigbọ eyikeyi. O ṣe pataki fun awọn agbegbe alariwo, iraye si, ati apapọ pẹlu ohun fun idanimọ ọrọ ti o lagbara diẹ sii.
Kini 'viseme' kan?
Ohun bi /p/, /b/, ati /m/ ṣe ọkan viseme nitori ẹnu kan naa dabi, eyiti o jẹ idi ti kika ète jẹ aṣiwere laisi ọrọ-ọrọ.
Kini idi ti awọn awoṣe wiwo ohun afetigbọ nigbagbogbo logan ju aaye-nikan tabi awọn awoṣe ohun-orin nikan?
Fifẹ fidio ati ohun afetigbọ jẹ ki ọna kọọkan san isanpada fun ekeji, nitoribẹẹ ariwo ariwo ti o ba ohun orin run le jẹ aiṣedeede nipasẹ awọn ète.
Kí ni 3D convolutional iwaju opin ni a ète-kika awoṣe iranlọwọ Yaworan?
Awọn iyipada 3D ṣe ilana ọpọlọpọ awọn fireemu papọ, yiya bi ẹnu ṣe n gbe lori awọn akoko kukuru kuku ju aworan aimi kan ṣoṣo.
Iru ipo wo ni o fa iṣotitọ kika-ẹ̀tẹ jẹ?
Ohunkohun ti o tọju tabi daru agbegbe ẹnu, bi occlusion tabi ina buburu, ndinku dinku deede.