HƯỚNG DẪN KỸ THUẬT

Chuyển văn bản thành giọng nói ngoại tuyến với Piper và Kokoro

Tính năng chuyển văn bản thành giọng nói ngoại tuyến chuyển đổi văn bản viết thành giọng nói cục bộ bằng cách sử dụng phần mềm và mẫu hoặc tệp giọng nói đã tải xuống.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của tính năng chuyển văn bản thành giọng nói ngoại tuyến với Piper và Kokoro
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Piper và Kokoro là những dự án riêng biệt với các thiết kế mô hình, cách đóng gói, phạm vi ngôn ngữ và nhu cầu phần cứng khác nhau, vì vậy hãy so sánh tài liệu và giấy phép hiện tại để biết thời gian chạy và giọng nói chính xác mà bạn dự định sử dụng.

Lặn sâu

Chuyển văn bản thành giọng nói hoặc TTS, ánh xạ văn bản được viết thành dạng sóng giọng nói. Chạy quy trình ngoại tuyến có nghĩa là ứng dụng có thời gian chạy và tệp mẫu hoặc giọng nói cần thiết trên thiết bị cục bộ và không cần gửi từng câu nói đến dịch vụ TTS được lưu trữ. Nó cải thiện tính khả dụng nhưng chuyển trách nhiệm cài đặt, lưu trữ và hiệu suất cho người vận hành. Piper là một dự án TTS mã nguồn mở với các giọng nói có thể tải xuống và công cụ suy luận cục bộ. Dự án Piper hiện tại được duy trì trong kho lưu trữ OHF-Voice và các chi tiết về gói cũng như giấy phép của nó phải được kiểm tra tại đó. Kokoro là một họ mô hình TTS riêng biệt với thẻ mô hình, giọng nói, thư viện suy luận và thông tin ngôn ngữ riêng. Các tên này không ngụ ý kiến ​​trúc mô hình, chất lượng hoặc môi trường được hỗ trợ giống hệt nhau. Các thay đổi về phiên bản và bao bì có thể xảy ra, vì vậy hãy sử dụng tài liệu dự án hiện tại thay vì hướng dẫn cũ. Mẫu giọng nói không giống với thời gian chạy tải nó. Các định dạng mô hình, cách phát âm, từ điển phát âm, gói ngôn ngữ và phần phụ thuộc âm thanh đều ảnh hưởng đến việc tổng hợp có hoạt động hay không. Một model nhỏ gọn có thể phù hợp với thiết bị CPU hạn chế, trong khi một model khác có thể yêu cầu nhiều bộ nhớ hơn hoặc khả năng tăng tốc. Đo tốc độ tạo, chi phí khởi động, dung lượng bộ nhớ và chất lượng âm thanh trên phần cứng mục tiêu thực tế. Lượng tử hóa hoặc các phần phụ trợ suy luận khác nhau có thể thay đổi cả hiệu quả và đầu ra. Phạm vi ngôn ngữ và giọng nói phải được xác minh ở cấp độ mô hình. Thời gian chạy hỗ trợ một ngôn ngữ không có nghĩa là mọi giọng nói đều hỗ trợ tốt ngôn ngữ đó. Tên riêng, chữ viết tắt, số, dấu câu và chuyển mã có thể yêu cầu chuẩn hóa văn bản hoặc quy tắc phát âm. Bài kiểm tra nghe với các đoạn văn mang tính đại diện sẽ mang lại nhiều thông tin hơn so với việc đánh giá một câu demo đơn lẻ. Việc cấp phép và sự đồng ý cần được kiểm tra riêng. Mã dự án, trọng lượng mô hình và dữ liệu giọng nói riêng lẻ có thể có các thuật ngữ khác nhau. Nếu tổng hợp giọng nói của một người có thể nhận dạng được, hãy xin phép và tuân theo các quy tắc hiện hành. Bản thân việc thực thi ngoại tuyến không chứng minh rằng việc phân phối hoặc sử dụng thương mại được cho phép. Nguồn tài liệu, phiên bản và lựa chọn giọng nói trước khi vận chuyển.

Triển khai trong thế giới thực

Raspberry Pi thông báo trạng thái cảm biến bằng giọng nói Piper đã tải xuống sau khi đo độ trễ tạo và bộ nhớ trên thiết bị.

Ứng dụng dành cho máy tính để bàn sử dụng mô hình Kokoro cục bộ và kiểm tra cấu hình ngôn ngữ và giọng nói được hỗ trợ trước khi tạo lời nhắc đa ngôn ngữ.

Nhóm sản phẩm xem xét giấy phép cho thời gian chạy TTS và xác minh riêng các điều khoản đính kèm với từng giọng nói hoặc mẫu được tải xuống.

Trình đọc hướng tới người dùng sẽ chia văn bản dài thành các đoạn, giữ nguyên dấu câu và kiểm tra tính liên tục của âm thanh qua các đoạn.

Tương lai của tính năng chuyển văn bản thành giọng nói ngoại tuyến với Piper và Kokoro

TTS ngoại tuyến có thể sẽ tiếp tục được cải thiện khi dung lượng mô hình thu hẹp lại và thời gian chạy hỗ trợ nhiều loại thiết bị hơn. Người dùng có thể thấy các tùy chọn ngôn ngữ và giọng nói rộng hơn, mặc dù phạm vi phủ sóng và chất lượng sẽ không đồng đều giữa các kiểu máy. Việc đóng gói dễ dàng hơn có thể đơn giản hóa việc tích hợp, trong khi siêu dữ liệu giọng nói và mô hình rõ ràng hơn sẽ giúp các nhóm đánh giá các điều kiện sử dụng. Tổng hợp cục bộ vẫn sẽ yêu cầu kiểm tra khả năng nghe, đo lường phần cứng, xem xét cấp phép và xử lý có trách nhiệm nhận dạng giọng nói. Điểm chuẩn phần cứng phải bao gồm văn bản thực tế và khởi động nguội. Hãy kiểm tra các yếu tố này trước khi triển khai rộng rãi.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Offline Text-to-Speech with Piper and Kokoro quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Chuyển văn bản thành giọng nói ngoại tuyến với Piper và Kokoro là gì?

Tính năng chuyển văn bản thành giọng nói ngoại tuyến chuyển đổi văn bản viết thành giọng nói cục bộ bằng cách sử dụng phần mềm và mẫu hoặc tệp giọng nói đã tải xuống. Piper và Kokoro là những dự án riêng biệt với các thiết kế mô hình, cách đóng gói, phạm vi ngôn ngữ và nhu cầu phần cứng khác nhau, vì vậy hãy so sánh tài liệu và giấy phép hiện tại để biết thời gian chạy và giọng nói chính xác mà bạn dự định sử dụng.

TTS ngoại tuyến làm gì tại địa phương?

TTS cục bộ tổng hợp dạng sóng âm thanh từ văn bản viết trên thiết bị.

Tại sao Piper và Kokoro nên được đánh giá là những dự án riêng biệt?

Tài liệu và hiện vật của chúng khác nhau, vì vậy các khả năng không nên được cho là có thể hoán đổi cho nhau.

Tại sao một nhóm phải kiểm tra giấy phép mô hình hoặc giọng nói đã tải xuống cũng như giấy phép thời gian chạy TTS?

Mã, trọng lượng và dữ liệu giọng nói có thể mang các điều khoản cấp phép riêng biệt.

Đại lượng nào so sánh thời gian tạo giọng nói với thời lượng âm thanh được tạo ra?

Hệ số thời gian thực chia thời gian tổng hợp theo thời lượng âm thanh được tạo; bộ nhớ và độ trễ khởi động nguội là các phép đo bổ sung.

Tại sao phải kiểm tra văn bản đại diện ngoài một câu demo ngắn?

Chuẩn hóa văn bản và ranh giới đoạn có thể ảnh hưởng đến đầu ra thực tế.