Tiếp theoHướng dẫn tiếp theo
NVIDIA NeMo Guardrails
kỹ thuật
HƯỚNG DẪN AI âm thanh
NVIDIA Riva và NeMo Speech
NVIDIA Riva là SDK được GPU tăng tốc dành cho AI sản xuất giọng nói (ASR, TTS và dịch thuật), trong khi NeMo là bộ công cụ nguồn mở để đào tạo và tinh chỉnh các mô hình cơ bản.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Together they let developers build fast, customizable voice applications that run on NVIDIA hardware.
Lặn sâu
NeMo (Mô-đun thần kinh) là khung PyTorch mã nguồn mở của NVIDIA để xây dựng AI đàm thoại. Nó cung cấp các mô hình được đào tạo trước để nhận dạng giọng nói tự động (ASR), chuyển văn bản thành giọng nói (TTS) và các tác vụ ngôn ngữ tự nhiên, được tổ chức dưới dạng 'mô-đun thần kinh' có thể tái sử dụng mà bạn có thể tinh chỉnh trên dữ liệu của riêng mình. Riva là bên triển khai: nó đóng gói các mô hình được tối ưu hóa đằng sau một máy chủ gRPC phát trực tuyến, sử dụng TensorRT và Máy chủ suy luận Triton để đạt được độ trễ thấp trên quy mô lớn. Một quy trình công việc điển hình sẽ đào tạo hoặc điều chỉnh mô hình trong NeMo, xuất mô hình đó sang định dạng Riva, sau đó phục vụ mô hình đó để sao chép hoặc tổng hợp theo thời gian thực. Riva hỗ trợ nhận dạng phát trực tuyến với dấu thời gian ở cấp độ từ, giọng nói TTS thần kinh, ghi nhật ký của người nói và nhiều ngôn ngữ, tất cả đều được điều chỉnh để chạy hiệu quả trên GPU NVIDIA.
Triển khai trong thế giới thực
Phiên âm trung tâm cuộc gọi theo thời gian thực và nhân viên trực tiếp hỗ trợ phụ đề cho cuộc gọi của khách hàng bằng dấu thời gian cấp độ từ
Xây dựng giọng nói TTS mang thương hiệu tùy chỉnh cho trợ lý ảo bằng cách tinh chỉnh FastPitch trong NeMo trên bản ghi âm vài giờ
Phụ đề trực tiếp và dịch giọng nói cho hội nghị truyền hình hoặc sự kiện phát trực tuyến trên GPU NVIDIA
Tinh chỉnh mô hình ASR tuân thủ trên từ vựng y tế hoặc pháp lý theo miền cụ thể bằng cách sử dụng NeMo, sau đó phân phối nó thông qua Riva
Tương lai của NVIDIA Riva và NeMo Speech
NVIDIA đang thúc đẩy Riva và NeMo hướng tới các mô hình giọng nói nền tảng đa ngôn ngữ lớn hơn và tích hợp chặt chẽ hơn với các tác nhân dựa trên LLM cho trợ lý giọng nói đầu cuối. Mong đợi khả năng tùy chỉnh phong phú hơn (tăng tốc từ, giọng nói tùy chỉnh từ số phút dữ liệu), độ ổn định trong môi trường ồn ào tốt hơn và khả năng triển khai mở rộng GPU của trung tâm dữ liệu đến các thiết bị biên như Jetson. Khi NeMo phát triển cùng với các mô hình sáng tạo, ranh giới giữa nhận dạng giọng nói, dịch thuật và lý luận hội thoại sẽ tiếp tục mờ nhạt thành các quy trình thời gian thực thống nhất.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the NVIDIA Riva and NeMo Speech quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is NVIDIA Riva and NeMo Speech?
NVIDIA Riva là SDK được GPU tăng tốc dành cho AI sản xuất giọng nói (ASR, TTS và dịch thuật), trong khi NeMo là bộ công cụ nguồn mở để đào tạo và tinh chỉnh các mô hình cơ bản. Họ cùng nhau cho phép các nhà phát triển xây dựng các ứng dụng giọng nói nhanh, có thể tùy chỉnh chạy trên phần cứng NVIDIA.
Sự khác biệt chính giữa NeMo và Riva là gì?
NeMo là bộ công cụ nguồn mở để xây dựng và tinh chỉnh các mô hình ngôn ngữ và giọng nói, trong khi Riva đóng gói và phục vụ các mô hình đó để sử dụng trong sản xuất có độ trễ thấp.
Which NVIDIA components does Riva documentation identify for optimized model execution and inference serving?
TensorRT and Triton have distinct execution and serving roles; particular batching and latency behavior depends on the deployed pipeline.
Trong quy trình Riva TTS điển hình, vai trò của bộ phát âm như HiFi-GAN là gì?
Một mô hình âm thanh như FastPitch dự đoán các đặc điểm quang phổ từ văn bản và bộ phát âm thần kinh như HiFi-GAN biến những đặc điểm đó thành dạng sóng âm thanh cuối cùng.
ASR 'phát trực tuyến' trong Riva kích hoạt điều gì?
Tính năng nhận dạng phát trực tuyến xử lý âm thanh theo từng đoạn nhỏ và phát ra một phần kết quả trong thời gian gần như thực, thay vì đợi toàn bộ câu nói kết thúc.
Ví dụ nào về việc NeMo có thể tùy chỉnh cho các mẫu giọng nói?
NeMo cho phép các nhà phát triển tinh chỉnh các mô hình được đào tạo trước trên dữ liệu của riêng họ, chẳng hạn như điều chỉnh mô hình ASR để nhận dạng các thuật ngữ y tế hoặc pháp lý chuyên ngành.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này