Słuchaj Weź udział i przeliteruj
Listen, Attend and Spell (LAS) to przełomowa sieć neuronowa z 2015 roku, która transkrybuje mowę bezpośrednio na znaki, bez ręcznie tworzonego słownika wymowy ani oddzielnego modelu języka.
Przegląd
It showed that a single end-to-end model could do speech recognition.
Głębokie nurkowanie
Listen, Attend and Spell, wprowadzony przez Google badaczy Chana, Jaitly, Le i Vinyals w 2015 roku, był jednym z pierwszych prawdziwie kompleksowych systemów rozpoznawania mowy. Składa się z dwóch części: „Listener” – piramidalnego dwukierunkowego LSTM, który koduje dźwięk przy jednoczesnym zmniejszaniu wymiaru czasu, oraz „Speller” – dekodera LSTM opartego na uwadze, który emituje znaki pojedynczo. Mechanizm uwagi pozwala pisowni skupić się na odpowiednim fragmencie dźwięku dla każdej litery wyjściowej. W przeciwieństwie do starszych potoków HMM-DNN, LAS nie potrzebuje słownika fonemów, wymuszonego wyrównania ani oddzielnie trenowanego modelu języka; uczy się pisowni, granic słów i akustyki łącznie z transkrybowanego dźwięku. Bezpośrednio zainspirowało to nowoczesne systemy ASR oparte na sekwencji po sekwencji i uwadze.
Wgląd techniczny
LAS łączy koder-dekoder z uwagą. Piramidalny koder LSTM zmniejsza o połowę rozdzielczość czasową każdej z trzech warstw, wycinając długą sekwencję akustyczną na rozsądną długość, dzięki czemu można skupić uwagę. Na każdym etapie dekodowania Speller oblicza wagi uwagi dla wszystkich stanów kodera, łączy je w wektor kontekstu i przewiduje następny znak. Trening maksymalizuje prawdopodobieństwo prawidłowej sekwencji znaków; sztuczka z zaplanowanym próbkowaniem zmniejsza niedopasowanie pociągu/testu.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość słuchania i pisania
LAS jest już historyczny, ale jego DNA przewija się przez każdy nowoczesny system ASR. Koncepcja enkodera-dekodera opartego na uwadze przekształciła się w rozpoznawanie transformatorów i konformerów, podczas gdy powiązane podejścia, takie jak dyktowanie na urządzeniu za pomocą przetwornika RNN. Przyszłe systemy kontynuują tę kompleksową trajektorię, łącząc rozpoznawanie z tłumaczeniem i zrozumieniem w pojedynczych wielojęzycznych modelach i kierując się w stronę przesyłania strumieniowego i transkrypcji o niskim opóźnieniu, której LAS, ponieważ nie obsługuje przesyłania strumieniowego, nie mógł pierwotnie zapewnić.
Implementacja w świecie rzeczywistym
Transkrypcja mówionego języka angielskiego bezpośrednio na litery bez słownika wymowy
Służy jako podstawa koncepcyjna dla systemów dyktowania głosu i napisów opartych na skupieniu uwagi
Demonstrowanie kompleksowego szkolenia w zakresie zajęć akademickich i testów porównawczych w zakresie rozpoznawania mowy
Inspirujące modele sekwencyjne wykorzystywane później w potokach tłumaczenia mowy
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Listen Attend and Spell quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Automatyczne tagowanie muzyki
Często zadawane pytania
What is Listen Attend and Spell?
Listen, Attend and Spell (LAS) to przełomowa sieć neuronowa z 2015 roku, która transkrybuje mowę bezpośrednio na znaki, bez ręcznie tworzonego słownika wymowy ani oddzielnego modelu języka. Wykazało, że pojedynczy, kompleksowy model może zapewnić rozpoznawanie mowy.
Jakie są dwa główne elementy modelu LAS?
LAS składa się z kodera „Listener”, który przetwarza dźwięk, oraz dekodera opartego na uwadze „Speller”, który emituje znaki.
Co wyświetla Speller w LAS?
Speller to dekoder, który tworzy transkrypcję znak po znaku, ucząc się bezpośrednio pisowni.
Dlaczego koder LAS nazywa się „piramidalnym”?
Każda warstwa piramidalnego BLSTM zmniejsza o połowę długość sekwencji, skracając długą sekwencję audio, dzięki czemu uwaga jest możliwa obliczeniowo.
Jakiego starszego komponentu w szczególności NIE wymaga LAS?
W przeciwieństwie do klasycznych potoków HMM-DNN, LAS uczy się bezpośrednio na podstawie par audio-tekst bez słownika fonemów i wymuszonego wyrównania.
Który mechanizm pozwala Spellerowi skupić się na odpowiedniej części dźwięku dla każdej postaci?
Mechanizm uwagi oblicza wagi stanów kodera, tworząc wektor kontekstu, którego dekoder używa na każdym kroku.