HƯỚNG DẪN AI âm thanh

Biến đổi Constant-Q cho âm thanh

Biến đổi Constant-Q (CQT) là một phân tích tần số sử dụng các khoảng cách đều nhau theo logarit phù hợp với cao độ âm nhạc, thay vì các khoảng cách đều nhau của phép biến đổi Fourier tiêu chuẩn.

Đọc trong 2 phútCập nhật lần cuối

Tổng quan

Nó quan trọng vì nó phản chiếu cách chúng ta cảm nhận cao độ, khiến nó lý tưởng cho phân tích âm nhạc, nơi các nốt tăng gấp đôi tần số mỗi quãng tám.

Lặn sâu

Trong Biến đổi Fourier thời gian ngắn thông thường, các ngăn tần số được đặt cách nhau một cách tuyến tính, do đó các nốt thấp được chen chúc lại với nhau trong khi các nốt cao có độ phân giải cao hơn. Âm nhạc không hoạt động theo cách đó: mỗi quãng tám tăng gấp đôi tần số và nửa cung là một tỷ lệ cố định, không phải là số hertz cố định. CQT khắc phục điều này bằng cách giữ tỷ lệ tần số trung tâm trên băng thông, hệ số chất lượng Q, không đổi trên tất cả các thùng. Tần số thấp hơn có cửa sổ phân tích dài hơn (độ phân giải tần số tốt) và tần số cao hơn có cửa sổ phân tích ngắn hơn (độ phân giải thời gian tốt). Kết quả là một biểu đồ phổ trong đó một hàng tương ứng với một cao độ âm nhạc và cùng một hợp âm trông giống hệt nhau cho dù nó được chơi ở quãng tám nào. Thuộc tính này làm cho CQT trở thành giao diện người dùng tự nhiên để nhận dạng hợp âm, phiên âm và theo dõi cao độ.

Hiểu biết kỹ thuật

Hằng số Q có nghĩa là băng thông của mỗi bộ lọc chia tỷ lệ theo tần số trung tâm của nó, do đó tất cả các thùng đều có cùng số xu âm nhạc. Thông thường, các ngăn được đặt ở mức 12 hoặc 24 trên mỗi quãng tám để căn chỉnh với nửa cung hoặc một phần tư âm. Do độ dài cửa sổ thay đổi theo từng thùng nên việc triển khai hiệu quả sử dụng một FFT duy nhất cộng với ma trận hạt nhân thưa thớt thay vì tính toán từng bộ lọc riêng biệt, đó là cách các thư viện như librosa làm cho CQT nhanh chóng.

Tác động chiến lược

Truy cập và tiếp cận

Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.

Chi phí và ngân sách

Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.

Tốc độ và tỷ lệ

Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.

Tương lai của Constant-Q Transform cho âm thanh

CQT ngày càng được sử dụng làm đại diện đầu vào cho các mô hình âm nhạc học sâu, vì cấu trúc căn chỉnh cao độ của nó cho phép các mạng tích chập học các tính năng bất biến chuyển vị. Mong đợi sự tích hợp chặt chẽ hơn với âm thanh thần kinh trong các tác vụ như chép lời tự động, phát hiện bài hát cover và tách nguồn. Các giao diện người dùng kết hợp kết hợp CQT với các ngân hàng bộ lọc đã học đang xuất hiện và các lớp CQT có thể phân biệt hiện cho phép các mô hình tối ưu hóa chuyển đổi cùng với mạng trong quá trình đào tạo.

Triển khai trong thế giới thực

Hệ thống nhận dạng hợp âm tự động ánh xạ từng thùng CQT vào một lớp cao độ âm nhạc

Công cụ phiên âm nhạc chuyển đổi bản ghi âm piano thành bản nhạc hoặc MIDI

Tính năng phát hiện độ giống nhau của bài hát và bài hát được hưởng lợi từ các tính năng bất biến quãng tám

Các plugin thay đổi cao độ và phát hiện phím trong máy trạm âm thanh kỹ thuật số

Rủi ro & lan can

Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.

Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.

Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.

Lộ trình thực hiện

1

Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.

2

Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.

3

Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.

4

Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.

Tiếp tục khám phá

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Constant-Q Transform for Audio quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

Bắt đầu bài kiểm tra

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

Hướng dẫn tiếp theo

Phát hiện khởi phát trong âm thanh

Câu hỏi thường gặp

Constant-Q Transform cho Âm thanh là gì?

Biến đổi Constant-Q (CQT) là một phân tích tần số sử dụng các khoảng cách đều nhau theo logarit phù hợp với cao độ âm nhạc, thay vì các khoảng cách đều nhau của phép biến đổi Fourier tiêu chuẩn. Điều này quan trọng vì nó phản ánh cách chúng ta cảm nhận cao độ, khiến nó trở nên lý tưởng cho việc phân tích âm nhạc trong đó các nốt có tần số tăng gấp đôi sau mỗi quãng tám.

Các ngăn tần số được đặt cách nhau như thế nào trong Biến đổi Constant-Q?

CQT sử dụng các khoảng cách theo logarit để mỗi khoảng tương ứng với một khoảng cao độ âm nhạc, không giống như khoảng cách tuyến tính của FFT tiêu chuẩn.

'Q' trong Constant-Q đề cập đến điều gì?

Q là tỷ lệ giữa tần số trung tâm của bộ lọc với băng thông của nó và CQT giữ tỷ lệ này không đổi trên tất cả các thùng.

Tại sao CQT sử dụng cửa sổ phân tích dài hơn ở tần số thấp?

Các nốt nhạc thấp rất gần nhau ở hertz tuyệt đối, vì vậy cửa sổ dài hơn sẽ cung cấp độ phân giải tần số tốt cần thiết để tách chúng ra.

CQT có lợi thế gì về mặt nhận thức đối với âm nhạc so với biểu đồ phổ tuyến tính?

Vì các ngăn được đặt cách nhau theo tỷ lệ cao độ nên việc chuyển cung một hợp âm lên một quãng tám chỉ đơn giản là thay đổi mẫu, mang lại tính bất biến quãng tám/chuyển cung hữu ích cho các tác vụ âm nhạc.

Có bao nhiêu thùng CQT trên mỗi quãng tám thường được sử dụng để căn chỉnh với nửa cung?

Mười hai ô trên mỗi quãng tám sắp xếp mỗi ô theo một nửa cung của thang màu phương Tây; 24 thùng cho độ phân giải một phần tư tông màu.