NastępnyNastępny poradnik
Neuronowe kodeki audio
Dźwiękowa sztuczna inteligencja
PRZEWODNIK AI audio
Kodek audio Mimi do przesyłania strumieniowego
Mimi to neuronowy kodek audio firmy Kyutai używany z Moshi.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Konwertuje dźwięk 24 kHz na dyskretną reprezentację z szybkością 12,5 klatek na sekundę, umożliwiając modelom mowy przewidywanie i dekodowanie tokenów audio. W artykule opisano semantyczny słownik kodów wydestylowany z WavLM i akustycznych słowników kodów do rekonstrukcji; określone szybkości i opóźnienia należą do opublikowanej konfiguracji.
Głębokie nurkowanie
W artykule Moshi przedstawiono Mimi jako neuronowy kodek przesyłania strumieniowego działający na częstotliwości audio 24 kHz z częstotliwością tokenową 12,5 Hz i przepustowością 1,1 kb/s w zgłoszonej konfiguracji. Koder tworzy semantyczny słownik kodów wydestylowany z WavLM i akustycznych słowników, które obsługują rekonstrukcję przy użyciu kwantyzacji rozdzielonego wektora resztkowego. Maskowanie przyczynowe w koderze/dekoderze Transformers obsługuje wnioskowanie strumieniowe. W artykule podano rozmiar ramki 80 ms; nie należy go interpretować jako gwarantowanego czasu reakcji na rozmowę od początku do końca. Mimi dostarcza tokeny audio do modelowania audio-tekstu Moshi, ale tokeny kodeków nie są zwykłymi tokenami tekstowymi.
Implementacja w świecie rzeczywistym
Użyj kodeka, aby reprezentować mowę przychodzącą jako dyskretne tokeny, które może przetworzyć model mowy i tekstu.
Dekoduj przewidywane tokeny audio z powrotem do postaci fali na potrzeby mowy.
Porównaj szybkość tokena i przepływność podczas oceniania długości sekwencji autoregresyjnej i wierności kodeka.
Sprawdź rozdzielone słowniki semantyczne/akustyczne opisane w raporcie Moshiego.
Przyszłość kodeka audio Mimi Streaming
Kodeki neuronowe zapewniają jeden interfejs dla modeli mowy do kodowania i generowania dźwięku. Przyszłe prace mogą dostosować stawki tokenów, alokację książki kodowej i opóźnienia przesyłania strumieniowego; każdy kompromis należy ocenić pod kątem zamierzonej jakości dźwięku, sprzętu i zadania dialogowego.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Dostęp i zasięg. Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
- Koszt i budżet. Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
- Szybkość i skala. Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Uważaj na
- W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
- Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
- Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Kolejne kroki
- Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
- Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
- Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
- Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Rozwiąż quiz dotyczący kodeka audio Mimi Streaming
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest kodek audio Mimi Streaming?
Mimi to neuronowy kodek audio firmy Kyutai używany z Moshi. Konwertuje dźwięk 24 kHz na dyskretną reprezentację z szybkością 12,5 klatek na sekundę, umożliwiając modelom mowy przewidywanie i dekodowanie tokenów audio. W artykule opisano semantyczny słownik kodów wydestylowany z WavLM i akustycznych słowników kodów do rekonstrukcji; określone szybkości i opóźnienia należą do opublikowanej konfiguracji.
Które laboratorium wypuściło model głosu Mimi i Moshi?
Mimi i Moshi zostały wydane w 2024 r. przez francuskie laboratorium badawcze Kyutai, które udostępniło oba rozwiązania na zasadach open source.
Mniej więcej, ile tokenów na sekundę Mimi emituje podczas mowy?
Mimi kompresuje dźwięk 24 kHz do zaledwie około 12,5 tokenów na sekundę przy około 1,1 kb/s.
Jakie informacje ma reprezentować pierwszy semantyczny słownik Mimi?
Artykuł Moshiego opisuje destylację reprezentacji WavLM do semantycznego słownika Mimi; nie twierdzi, że ten słownik jest dosłownym transkrypcją lub dokładnym zapisem tożsamości mówiącego.
Dlaczego Mimi jest opisywana jako „streamingowa” lub „przyczynowa”?
Koder/dekoder przyczynowy Mimi może przetwarzać ramki w miarę nadejścia dźwięku, zamiast wymagać pełnej wypowiedzi. Wartość 80 ms podana w artykule to interwał ramki kodeka, a nie gwarantowane opóźnienie dialogu od końca do końca.
Jakiej techniki kwantyzacji używa Mimi do kodowania dźwięku?
Mimi wykorzystuje kwantyzację wektora resztkowego, układając wiele słowników, tak aby każdy z nich dodawał więcej szczegółów do poprzedniego.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat