คู่มือเสียง AI

NVIDIA Riva และ NeMo คำพูด

NVIDIA Riva เป็น SDK ที่เร่งด้วย GPU สำหรับ AI คำพูดในการผลิต (ASR, TTS และการแปล) ในขณะที่ NeMo เป็นชุดเครื่องมือโอเพ่นซอร์สสำหรับการฝึกอบรมและปรับแต่งโมเดลพื้นฐานอย่างละเอียด

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ NVIDIA Riva และ NeMo Speech
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Together they let developers build fast, customizable voice applications that run on NVIDIA hardware.

เจาะลึก

NeMo (โมดูลประสาท) คือเฟรมเวิร์ก PyTorch โอเพ่นซอร์สของ NVIDIA สำหรับการสร้าง AI การสนทนา โดยจัดส่งโมเดลที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการรู้จำเสียงพูดอัตโนมัติ (ASR) การอ่านออกเสียงข้อความ (TTS) และงานภาษาธรรมชาติ ซึ่งจัดเป็น 'โมดูลประสาท' ที่นำกลับมาใช้ใหม่ได้ ซึ่งคุณสามารถปรับแต่งข้อมูลของคุณเองได้อย่างละเอียด Riva เป็นฝ่ายปรับใช้ โดยจัดแพคเกจโมเดลที่ได้รับการปรับปรุงให้เหมาะสมหลังเซิร์ฟเวอร์สตรีมมิ่ง gRPC โดยใช้ TensorRT และ Triton Inference Server เพื่อให้ได้เวลาแฝงต่ำในวงกว้าง ขั้นตอนการทำงานทั่วไปจะฝึกฝนหรือปรับโมเดลใน NeMo จากนั้นส่งออกเป็นรูปแบบ Riva จากนั้นจึงนำไปใช้ในการถอดเสียงหรือการสังเคราะห์แบบเรียลไทม์ Riva รองรับการจดจำการสตรีมด้วยการประทับเวลาระดับคำ เสียง TTS แบบนิวรัล การแยกเสียงของผู้พูด และภาษาต่างๆ มากมาย ทั้งหมดนี้ได้รับการปรับแต่งให้ทำงานอย่างมีประสิทธิภาพบน NVIDIA GPU

การใช้งานจริงในโลกแห่งความเป็นจริง

การถอดเสียงจากศูนย์บริการทางโทรศัพท์แบบเรียลไทม์และตัวแทนแบบเรียลไทม์ช่วยบรรยายการโทรของลูกค้าด้วยการประทับเวลาระดับคำ

สร้างเสียง TTS ของแบรนด์ที่กำหนดเองสำหรับผู้ช่วยเสมือนโดยการปรับแต่ง FastPitch ใน NeMo ในการบันทึกไม่กี่ชั่วโมง

คำบรรยายสดและการแปลคำพูดสำหรับการประชุมทางวิดีโอหรือการสตรีมกิจกรรมบน NVIDIA GPU

การปรับแต่งโมเดล Conformer ASR บนคำศัพท์ทางการแพทย์หรือกฎหมายเฉพาะโดเมนโดยใช้ NeMo จากนั้นให้บริการผ่าน Riva

อนาคตของ NVIDIA Riva และ NeMo Speech

NVIDIA กำลังผลักดัน Riva และ NeMo ไปสู่โมเดลคำพูดพื้นฐานที่ใหญ่ขึ้นและพูดได้หลายภาษามากขึ้น และการบูรณาการที่เข้มงวดยิ่งขึ้นกับตัวแทนที่ใช้ LLM สำหรับผู้ช่วยด้านเสียงแบบ end-to-end คาดหวังการปรับแต่งที่สมบูรณ์ยิ่งขึ้น (การเพิ่มคำ เสียงที่กำหนดเองจากข้อมูลไม่กี่นาที) ความทนทานต่อสภาพแวดล้อมที่มีเสียงรบกวนที่ดีขึ้น และการปรับใช้ที่ครอบคลุม GPU ในศูนย์ข้อมูลไปจนถึงอุปกรณ์ Edge เช่น Jetson ในขณะที่ NeMo พัฒนาควบคู่ไปกับโมเดลกำเนิด เส้นแบ่งระหว่างการรู้จำเสียง การแปล และการให้เหตุผลในการสนทนาจะยังคงเลือนหายไปในไปป์ไลน์แบบเรียลไทม์ที่รวมเป็นหนึ่งเดียว

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the NVIDIA Riva and NeMo Speech quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is NVIDIA Riva and NeMo Speech?

NVIDIA Riva เป็น SDK ที่เร่งด้วย GPU สำหรับ AI คำพูดในการผลิต (ASR, TTS และการแปล) ในขณะที่ NeMo เป็นชุดเครื่องมือโอเพ่นซอร์สสำหรับการฝึกอบรมและปรับแต่งโมเดลพื้นฐานอย่างละเอียด พวกเขาร่วมกันช่วยให้นักพัฒนาสร้างแอปพลิเคชันเสียงที่รวดเร็วและปรับแต่งได้ซึ่งทำงานบนฮาร์ดแวร์ NVIDIA

ความแตกต่างหลักระหว่าง NeMo และ Riva คืออะไร?

NeMo เป็นชุดเครื่องมือโอเพ่นซอร์สสำหรับการสร้างและปรับแต่งโมเดลคำพูดและภาษา ในขณะที่ Riva เป็นแพ็คเกจและให้บริการโมเดลเหล่านั้นสำหรับการใช้งานจริงที่มีเวลาแฝงต่ำ

Which NVIDIA components does Riva documentation identify for optimized model execution and inference serving?

TensorRT and Triton have distinct execution and serving roles; particular batching and latency behavior depends on the deployed pipeline.

ในไปป์ไลน์ Riva TTS ทั่วไป บทบาทของนักร้องเช่น HiFi-GAN คืออะไร?

แบบจำลองเสียง เช่น FastPitch ทำนายคุณสมบัติของสเปกโตรแกรมจากข้อความ และเครื่องแปลงเสียงแบบนิวรอล เช่น HiFi-GAN จะเปลี่ยนคุณสมบัติเหล่านั้นให้เป็นรูปแบบคลื่นเสียงสุดท้ายที่ได้ยิน

ASR 'สตรีมมิ่ง' ใน Riva เปิดใช้งานอะไร

การจดจำการสตรีมจะประมวลผลเสียงเป็นชิ้นเล็กๆ และปล่อยผลลัพธ์บางส่วนในเวลาใกล้เคียงเรียลไทม์ แทนที่จะรอให้คำพูดทั้งหมดเสร็จสิ้น

ข้อใดคือตัวอย่างการปรับแต่งที่ NeMo เปิดใช้งานสำหรับโมเดลเสียงพูด

NeMo ช่วยให้นักพัฒนาปรับแต่งโมเดลที่ได้รับการฝึกล่วงหน้าด้วยข้อมูลของตนเอง เช่น การปรับโมเดล ASR เพื่อจดจำคำศัพท์เฉพาะทางทางการแพทย์หรือทางกฎหมาย

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →