NastępnyNastępny poradnik
NVIDIA NeMo Guardrails
Techniczne
PRZEWODNIK AI audio
Przemówienie NVIDIA Riva i NeMo
NVIDIA Riva to akcelerowany przez GPU pakiet SDK do produkcyjnej sztucznej inteligencji mowy (ASR, TTS i tłumaczenie), natomiast NeMo to zestaw narzędzi typu open source do szkolenia i dostrajania podstawowych modeli.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Razem pozwalają programistom tworzyć szybkie, konfigurowalne aplikacje głosowe działające na sprzęcie NVIDIA.
Głębokie nurkowanie
NeMo (Neural Modules) to platforma PyTorch typu open source firmy NVIDIA do tworzenia konwersacyjnej sztucznej inteligencji. Zawiera wstępnie wytrenowane modele automatycznego rozpoznawania mowy (ASR), zamiany tekstu na mowę (TTS) i zadań związanych z językiem naturalnym, zorganizowane jako „moduły neuronowe” wielokrotnego użytku, które można dostroić na podstawie własnych danych. Riva zajmuje się wdrażaniem: pakuje zoptymalizowane modele za serwerem przesyłania strumieniowego gRPC, korzystając z TensorRT i serwera wnioskowania Triton, aby osiągnąć niskie opóźnienia na dużą skalę. Typowy przepływ pracy szkoli lub dostosowuje model w NeMo, eksportuje go do formatu Riva, a następnie udostępnia do transkrypcji lub syntezy w czasie rzeczywistym. Riva obsługuje rozpoznawanie transmisji strumieniowej za pomocą znaczników czasu na poziomie słów, neuronowych głosów TTS, diaaryzacji głośników i wielu języków, a wszystko to dostrojone do wydajnej pracy na procesorach graficznych NVIDIA.
Implementacja w świecie rzeczywistym
Transkrypcja call center w czasie rzeczywistym i pomoc agenta na żywo, która podpisuje rozmowy z klientami za pomocą znaczników czasu na poziomie słów
Tworzenie niestandardowych, markowych głosów TTS dla wirtualnego asystenta poprzez dostrajanie FastPitch w NeMo na kilku godzinach nagrań
Napisy na żywo i tłumaczenie mowy podczas wideokonferencji lub transmisji strumieniowych na procesorach graficznych NVIDIA
Dopracowanie modelu Conformer ASR w oparciu o słownictwo medyczne lub prawnicze specyficzne dla danej domeny przy użyciu NeMo, a następnie udostępnienie go za pośrednictwem Riva
Przyszłość NVIDIA Riva i NeMo Speech
NVIDIA naciska na Rivę i NeMo w kierunku większych, bardziej wielojęzycznych podstawowych modeli mowy i ściślejszej integracji z agentami opartymi na LLM w celu uzyskania kompleksowych asystentów głosowych. Oczekuj bogatszego dostosowywania (wzmacnianie słów, niestandardowe głosy z minut danych), lepszej odporności na hałaśliwe środowisko i wdrażania obejmującego procesory graficzne w centrach danych po urządzenia brzegowe, takie jak Jetson. W miarę ewolucji NeMo wraz z modelami generatywnymi granica między rozpoznawaniem mowy, tłumaczeniem i rozumowaniem konwersacyjnym będzie nadal się zacierać i przekształcać w ujednolicone potoki czasu rzeczywistego.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Dostęp i zasięg. Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
- Koszt i budżet. Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
- Szybkość i skala. Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Uważaj na
- W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
- Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
- Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Kolejne kroki
- Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
- Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
- Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
- Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the NVIDIA Riva and NeMo Speech quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest mowa NVIDIA Riva i NeMo?
NVIDIA Riva to akcelerowany przez GPU pakiet SDK do produkcyjnej sztucznej inteligencji mowy (ASR, TTS i tłumaczenie), natomiast NeMo to zestaw narzędzi typu open source do szkolenia i dostrajania podstawowych modeli. Razem pozwalają programistom tworzyć szybkie, konfigurowalne aplikacje głosowe działające na sprzęcie NVIDIA.
Jaka jest podstawowa różnica między NeMo i Rivą?
NeMo to zestaw narzędzi typu open source do budowania i dostrajania modeli mowy i języka, podczas gdy Riva pakuje i udostępnia te modele do użytku produkcyjnego z niskimi opóźnieniami.
Which NVIDIA components does Riva documentation identify for optimized model execution and inference serving?
TensorRT and Triton have distinct execution and serving roles; particular batching and latency behavior depends on the deployed pipeline.
Jaka jest rola wokodera takiego jak HiFi-GAN w typowym rurociągu Riva TTS?
Model akustyczny, taki jak FastPitch, przewiduje cechy spektrogramu na podstawie tekstu, a wokoder neuronowy, taki jak HiFi-GAN, przekształca te cechy w ostateczny kształt fali dźwiękowej.
Co umożliwia „streaming” ASR w Riva?
Rozpoznawanie strumieniowe przetwarza dźwięk w małych porcjach i emituje częściowe wyniki w czasie zbliżonym do rzeczywistego, zamiast czekać na zakończenie całej wypowiedzi.
Jaki jest przykład dostosowywania, które NeMo umożliwia w przypadku modeli mowy?
NeMo umożliwia programistom dostrajanie wstępnie wyszkolonych modeli na podstawie własnych danych, na przykład dostosowując model ASR do rozpoznawania specjalistycznej terminologii medycznej lub prawnej.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat