Kodek audio Mimi do przesyłania strumieniowego
Mimi to neuronowy kodek audio, który kompresuje mowę w niewielki strumień dyskretnych tokenów w czasie rzeczywistym, dzięki czemu modele AI mogą słuchać i mówić z bardzo niskim opóźnieniem.
Przegląd
It is the audio backbone behind Kyutai's Moshi voice model.
Głębokie nurkowanie
Mimi, wydany przez francuskie laboratorium Kyutai w 2024 r., to kodek neuronowy, który przekształca dźwięk o częstotliwości 24 kHz w strumień dyskretnych tokenów z szybkością około 1,1 kb/s i tylko 12,5 tokenów na sekundę. Wykorzystuje koder-dekoder z kwantyzacją wektora resztkowego (RVQ), dzieląc tokeny na „semantyczny” pierwszy poziom uzyskany z samonadzorowanego modelu mowy (WavLM) oraz kilka poziomów „akustycznych”, które przechwytują teksturę głosu. Co najważniejsze, jest w pełni przesyłany strumieniowo i przyczynowo: emituje tokeny po nadejściu dźwięku, zamiast czekać na pełny klip, z opóźnieniem około 80 ms. Dzięki temu model języka traktuje mowę jak tokeny tekstowe, umożliwiając Moshi rozmowę w trybie pełnego dupleksu, zachowując przy tym zrozumiałość i naturalność zrekonstruowanego dźwięku.
Wgląd techniczny
Sztuczka Mimi polega na schemacie podziału RVQ. Pierwszy słownik kodów jest szkolony ze stratą destylacyjną w celu dopasowania osadzania z WavLM, zmuszając go do przenoszenia „znaczenia” fonetycznego, podczas gdy równoległe akustyczne słowniki rekonstruują szczegóły kształtu fali. Transformator działa w wąskim gardle, a strata kontradyktoryjna (GAN) w dekoderze poprawia jakość wyjściową. Sploty przyczynowe sprawiają, że wszystko jest przesyłane strumieniowo, więc opóźnienie wynosi blisko 80 ms.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość kodeka audio Mimi Streaming
Można się spodziewać, że kodeki takie jak Mimi staną się standardowym interfejsem między modelami audio i dużymi językami, spychając asystentów głosowych działających w czasie rzeczywistym do czasów reakcji poniżej 100 ms. Badania jeszcze bardziej obniżają stawki za tokeny, zachowując jednocześnie tożsamość mówcy, emocje i muzykę. Ponieważ Kyutai korzysta z otwartych źródeł Mimi i Moshi, prawdopodobnie udostępni wiele otwartych systemów zamiany mowy na mowę, asystentów na urządzeniach i narzędzi komunikacji głosowej o bardzo niskiej przepustowości.
Implementacja w świecie rzeczywistym
Zasilanie pełnodupleksowego asystenta głosowego Moshi firmy Kyutai, dzięki czemu może on jednocześnie słuchać i rozmawiać
Przesyłanie strumieniowe tokenów mowy do modelu językowego w celu tłumaczenia mowy na mowę w czasie rzeczywistym
Połączenia głosowe o bardzo niskiej przepływności (~1,1 kb/s) w przypadku złych lub przeciążonych warunków sieci
Tokenizowanie dźwięku na potrzeby potoków mowy generatywnej i zamiany tekstu na mowę, które brzmią jak tekst
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mimi Streaming Audio Codec quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Neuronowe kodeki audio
Często zadawane pytania
What is Mimi Streaming Audio Codec?
Mimi to neuronowy kodek audio, który kompresuje mowę w niewielki strumień dyskretnych tokenów w czasie rzeczywistym, dzięki czemu modele AI mogą słuchać i mówić z bardzo niskim opóźnieniem. Jest to szkielet audio modelu głosu Moshi Kyutaia.
Które laboratorium wypuściło model głosu Mimi i Moshi?
Mimi i Moshi zostały wydane w 2024 r. przez francuskie laboratorium badawcze Kyutai, które udostępniło oba rozwiązania na zasadach open source.
Mniej więcej, ile tokenów na sekundę Mimi emituje podczas mowy?
Mimi kompresuje dźwięk 24 kHz do zaledwie około 12,5 tokenów na sekundę przy około 1,1 kb/s.
Co rejestruje pierwszy („semantyczny”) słownik w Mimi?
Pierwszy poziom RVQ jest trenowany poprzez destylację z WavLM w celu przenoszenia treści semantycznej/fonetycznej, podczas gdy późniejsze poziomy dodają szczegóły akustyczne.
Dlaczego Mimi jest opisywana jako „streamingowa” lub „przyczynowa”?
Mimi przetwarza dźwięk przyczynowo i stopniowo wysyła tokeny, zapewniając opóźnienie około 80 ms odpowiednie do rozmów na żywo.
Jakiej techniki kwantyzacji używa Mimi do kodowania dźwięku?
Mimi wykorzystuje kwantyzację wektora resztkowego, układając wiele słowników, tak aby każdy z nich dodawał więcej szczegółów do poprzedniego.