Tiếp theoHướng dẫn tiếp theo
Khuếch tán phổ khuếch tán
AI âm thanh
HƯỚNG DẪN KỸ THUẬT
Thuật toán Griffin-Lim ước tính dạng sóng từ biểu đồ cường độ bằng cách cập nhật lặp lại pha để làm cho phép biến đổi Fourier thời gian ngắn của dạng sóng khớp với cường độ mục tiêu.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Nó cho phép đảo ngược gần đúng mà không cần pha ban đầu, nhưng việc tái tạo không hoàn hảo và nhạy cảm với các cài đặt biến đổi và biểu đồ phổ.
Biến đổi Fourier thời gian ngắn biểu thị tín hiệu có giá trị phức tạp ở các khung thời gian liên tiếp. Mỗi giá trị có độ lớn và pha. Nhiều hệ thống dự đoán hoặc chỉ lưu trữ thông tin cường độ, thông tin này không đủ để tái tạo chính xác vì pha cũng ảnh hưởng đến cách các thành phần tần số kết hợp theo thời gian. Griffin-Lim giải quyết vấn đề thiếu pha này bằng cách ước tính mẫu pha tương thích với biểu đồ phổ cường độ mục tiêu. Thuật toán bắt đầu bằng ước tính pha ban đầu, thường là ngẫu nhiên hoặc được khởi tạo theo cách khác và kết hợp nó với cường độ mục tiêu để tạo thành một biểu đồ phổ phức tạp. Sau đó, nó áp dụng STFT nghịch đảo để tạo dạng sóng, tính toán STFT của dạng sóng đó và thay thế cường độ thu được bằng cường độ mục tiêu mong muốn trong khi vẫn giữ pha ước tính mới. Việc lặp lại phép chiếu này giữa các STFT nhất quán dạng sóng và giới hạn cường độ mục tiêu có thể cải thiện tính nhất quán. Bởi vì các biểu đồ phổ cường độ có thể không tương ứng chính xác với bất kỳ dạng sóng nào trong cài đặt STFT đã chọn, nên các phép chiếu chỉ có thể tìm kiếm một giá trị gần đúng tương thích. Việc khởi tạo, kích thước cửa sổ, độ dài bước nhảy, chức năng cửa sổ, căn giữa và số lần lặp đều ảnh hưởng đến kết quả. Nhiều lần lặp lại hơn có thể cải thiện một số dạng nhất quán nhưng không đảm bảo âm thanh tốt hơn về mặt cảm nhận trong mọi trường hợp. Ước tính này không đảm bảo khả năng phục hồi của pha ban đầu và đầu ra có thể chứa độ nhám hoặc nhiễu âm nhạc. Griffin-Lim có giá trị như một công cụ chẩn đoán và cơ sở minh bạch. Nó có thể biến một quang phổ dự đoán thành âm thanh mà không cần đào tạo một mô hình tổng hợp riêng biệt, nhưng chất lượng có thể bị hạn chế đối với giọng nói hoặc âm nhạc tự nhiên. Bộ phát âm thần kinh học cách ánh xạ từ biểu diễn âm thanh đến dạng sóng và phổ biến trong các đường dẫn TTS thần kinh hiện đại, mặc dù chúng yêu cầu các mô hình được đào tạo và đưa ra các giả định cũng như tạo tác của riêng chúng. Khi so sánh các kết cấu lại, hãy giữ định nghĩa STFT khớp với định nghĩa tạo ra độ lớn. Lắng nghe đầu ra và kiểm tra chất lượng liên quan đến nhiệm vụ vì biểu đồ phổ hoặc số liệu vô hướng không thể nắm bắt được mọi khiếm khuyết có thể nghe được. Đối với hệ thống giọng nói, hãy đánh giá mức độ dễ hiểu và tự nhiên một cách riêng biệt khỏi tính nhất quán của phổ số.
Một dự án giọng nói sẽ chuyển đổi cường độ tuyến tính hoặc mel dự đoán thành dạng sóng có thể nghe được với Griffin-Lim làm đường cơ sở đơn giản.
Một kỹ sư lắng nghe các hiện tượng kim loại sau khi tái tạo lại biểu đồ phổ và so sánh kết quả qua các lần lặp.
Đường dẫn tiền xử lý ghi lại kích thước cửa sổ, độ dài bước nhảy, chức năng cửa sổ và cài đặt định tâm để phân tích và tổng hợp biến đổi căn chỉnh.
Một nhóm sử dụng bộ phát âm thần kinh đã học để tạo ra giọng nói cuối cùng nhưng vẫn giữ lại Griffin-Lim để phát lại cường độ chẩn đoán nhanh chóng.
Bộ phát âm thần kinh đã học cung cấp khả năng tạo dạng sóng mạnh hơn trong nhiều quy trình phát âm hiện tại, trong khi Griffin-Lim vẫn là một công cụ giảng dạy và dự phòng đơn giản. Các hệ thống tổng hợp trong tương lai có thể kết hợp các kiến thức cơ bản đã học với các ràng buộc tín hiệu rõ ràng, nhưng những phương pháp đó cũng yêu cầu đánh giá về tốc độ, độ ổn định và các tạo tác nhận thức. Các phương pháp lặp cổ điển vẫn hữu ích khi tính minh bạch và độ phức tạp thiết lập thấp là vấn đề quan trọng. Chất lượng tái thiết sẽ tiếp tục phụ thuộc vào cài đặt biểu diễn và phân tích được cung cấp cho thuật toán. Đầu ra của mô hình phải được kiểm tra trên các loại loa, kiểu dáng và điều kiện ghi âm.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Thuật toán Griffin-Lim ước tính dạng sóng từ biểu đồ cường độ bằng cách cập nhật lặp lại pha để làm cho phép biến đổi Fourier thời gian ngắn của dạng sóng khớp với cường độ mục tiêu. Nó cho phép đảo ngược gần đúng mà không cần pha ban đầu, nhưng việc tái tạo không hoàn hảo và nhạy cảm với các cài đặt biến đổi và biểu đồ phổ.
Thuật toán ước tính pha lặp đi lặp lại vì chỉ riêng cường độ là không đầy đủ cho việc tái tạo dạng sóng.
Ràng buộc cường độ được áp đặt lại bằng cách sử dụng pha từ dạng sóng được tái tạo.
Cài đặt chuyển đổi xác định cách khung và ngăn tần số tương ứng với tín hiệu.
Nhiều lần lặp lại có thể cải thiện tính nhất quán nhưng không đảm bảo chất lượng cảm nhận tốt hơn.
Nó cung cấp khả năng tổng hợp dạng sóng gần đúng mà không cần đào tạo bộ phát âm thần kinh.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Khuếch tán phổ khuếch tán
AI âm thanh