Tổng hợp chuyển văn bản thành âm thanh AudioGen

AudioGen: Tạo âm thanh được hướng dẫn bằng văn bản nghiên cứu một mô hình dự đoán các biểu diễn âm thanh rời rạc đã học được từ văn bản mô tả. Cài đặt âm thanh chung của nó bao gồm các sự kiện môi trường và các nguồn chồng chéo, khác với hệ thống dành cho việc hiển thị bản ghi thành giọng nói chính xác. Bộ mã hóa tự động âm thanh đã học kết nối các dạng sóng với các chuỗi mã thông báo riêng biệt; mô hình ngôn ngữ dự đoán mã thông báo và bộ giải mã codec tái tạo lại âm thanh dạng sóng từ chúng. Máy biến áp tự hồi quy sử dụng mã thông báo âm thanh và điều hòa văn bản trước đó khi tạo ra các dự đoán tiếp theo. Điều này đưa ra một quy trình tạo khác với mô hình âm thanh được che giấu song song hoặc khuếch tán tiềm ẩn liên tục. Phần tăng cường của bài viết gốc trộn hai mẫu âm thanh ở độ lệch tương đối được lấy mẫu và tỷ lệ tín hiệu trên tạp âm, sau đó ghép các chú thích văn bản của chúng. Âm thanh được trộn trong khi chú thích được nối với nhau; mô tả điều này chỉ đơn giản là ghép các clip dạng sóng sẽ bỏ lỡ quy trình đã nêu. Các tác giả nghiên cứu xem liệu việc tăng cường đó có giúp ích cho việc tổng hợp một số nguồn được mô tả hay không. Hướng dẫn không cần phân loại của họ kết hợp các phân phối mô hình có điều kiện và vô điều kiện trong công thức xác suất log đã nêu. Điều này mang lại sự cân bằng về chất lượng/sự đa dạng có thể điều chỉnh được trong các thử nghiệm thay vì một cài đặt chung khiến mọi âm thanh trở nên trung thực. Nghiên cứu cũng điều tra việc tiếp tục âm thanh, sử dụng lời nhắc âm thanh ban đầu có hoặc không có điều chỉnh văn bản bổ sung. Tiếp tục tiền tố âm thanh khác với việc chỉ bắt đầu bằng chú thích văn bản. AudioGen được ghi lại trong AudioCraft cùng với các công cụ nghiên cứu âm thanh khác. Bài viết đã xuất bản và bản triển khai sau này có thể sử dụng các cấu hình khác nhau, do đó, tên codec, kích thước mô hình, quy tắc lấy mẫu và yêu cầu tài nguyên phải được liên kết với phiên bản thực tế đang được đánh giá.