LegközelebbKövetkező útmutató
NVIDIA NeMo Guardrails
Műszaki
Audio AI ÚTMUTATÓ
Az NVIDIA Riva egy GPU-gyorsítású SDK az éles beszéd AI-hoz (ASR, TTS és fordítás), míg a NeMo a nyílt forráskódú eszközkészlet az alapul szolgáló modellek betanításához és finomhangolásához.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Together they let developers build fast, customizable voice applications that run on NVIDIA hardware.
A NeMo (Neural Modules) az NVIDIA nyílt forráskódú PyTorch keretrendszere a társalgási AI építésére. Az automatikus beszédfelismerés (ASR), a szövegfelolvasó (TTS) és a természetes nyelvi feladatokhoz előre betanított modelleket szállít, amelyek újrafelhasználható „neurális modulokként” vannak rendezve, amelyeket saját adatain finomíthat. A Riva a telepítési oldal: optimalizált modelleket csomagol egy streaming gRPC szerver mögé, a TensorRT és a Triton Inference Server használatával, hogy elérje az alacsony késleltetést. Egy tipikus munkafolyamat betanítja vagy adaptálja a modellt a NeMo-ban, exportálja azt Riva formátumba, majd valós idejű átíráshoz vagy szintézishez szolgálja ki. A Riva támogatja az adatfolyam-felismerést szószintű időbélyegekkel, neurális TTS-hangokkal, beszélői naplózással és számos nyelvvel, amelyek mindegyike úgy van hangolva, hogy hatékonyan működjön NVIDIA GPU-kon.
Valós idejű call-center átírás és élő ügynöki segítség, amely szószintű időbélyegekkel látja el az ügyfelek hívásait
Egyedi márkájú TTS hangok létrehozása egy virtuális asszisztens számára a FastPitch finomhangolásával a NeMo-ban néhány órányi felvételen
Élő feliratozás és beszédfordítás videokonferenciákhoz vagy streaming eseményekhez NVIDIA GPU-kon
A Conformer ASR-modell finomhangolása tartományspecifikus orvosi vagy jogi szókincsen a NeMo segítségével, majd a Riva szolgáltatáson keresztül
Az NVIDIA a Rivát és a NeMo-t a nagyobb, többnyelvűbb beszédmodellek és az LLM-alapú ügynökökkel való szorosabb integráció felé tolja a végpontok közötti hangasszisztensek számára. Gazdagabb testreszabhatóság (szóbővítés, egyedi hangok percnyi adatmennyiségből), nagyobb zajos környezeti robusztusság, valamint az adatközponti GPU-kat a Jetsonhoz hasonló szélsőséges eszközökig terjedő telepítésre számíthat. Ahogy a NeMo a generatív modellek mellett fejlődik, a beszédfelismerés, a fordítás és a társalgási érvelés közötti határ továbbra is egységes, valós idejű folyamatokká fog összemosódni.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az NVIDIA Riva egy GPU-gyorsítású SDK az éles beszéd AI-hoz (ASR, TTS és fordítás), míg a NeMo a nyílt forráskódú eszközkészlet az alapul szolgáló modellek betanításához és finomhangolásához. Együtt lehetővé teszik a fejlesztők számára, hogy gyors, testreszabható hangalkalmazásokat készítsenek, amelyek NVIDIA hardveren futnak.
A NeMo a nyílt forráskódú eszközkészlet a beszéd- és nyelvi modellek felépítéséhez és finomhangolásához, míg a Riva ezeket a modelleket alacsony késleltetésű éles használatra csomagolja és szolgálja ki.
TensorRT and Triton have distinct execution and serving roles; particular batching and latency behavior depends on the deployed pipeline.
Egy akusztikus modell, mint például a FastPitch, megjósolja a spektrogram jellemzőit a szövegből, és egy neurális vokóder, mint a HiFi-GAN, ezeket a jellemzőket végső hallható hullámformává alakítja.
A streamfelismerés kis darabokban dolgozza fel a hangot, és csaknem valós időben bocsát ki részeredményeket, ahelyett, hogy megvárná a teljes megszólalás befejezését.
A NeMo lehetővé teszi a fejlesztők számára az előre betanított modellek finomhangolását saját adataik alapján, például egy ASR-modell adaptálását a speciális orvosi vagy jogi terminológia felismerésére.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
NVIDIA NeMo Guardrails
Műszaki