Ước tính quảng cáo chiêu hàng CREPE
CREPE là một mô hình học sâu ước tính tần số cơ bản (cao độ) của tín hiệu âm thanh đơn âm trực tiếp từ dạng sóng thô của nó.
Tổng quan
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Lặn sâu
CREPE (Biểu diễn phức tạp để ước tính cao độ), được Kim, Salamon, Li và Bello giới thiệu vào năm 2018, dự đoán cao độ của âm thanh một nốt (đơn âm) như giọng hát hoặc nhạc cụ độc tấu. Không giống như các thuật toán cổ điển như YIN hay pYIN dựa vào sự tự tương quan của tín hiệu, CREPE là mạng nơ ron tích chập sâu được đào tạo trực tiếp trên các khung âm thanh trong miền thời gian. Nó đóng khung ước tính cao độ như một vấn đề phân loại: nó đưa ra phân bố xác suất trên 360 thùng cao độ kéo dài khoảng sáu quãng tám, mỗi quãng cách nhau 20 xu. Thùng có mức kích hoạt cao nhất, được tinh chỉnh với mức trung bình có trọng số cục bộ, cung cấp tần suất ước tính cộng với điểm tin cậy. CREPE tỏ ra mạnh mẽ hơn rõ rệt so với các phương pháp xử lý tín hiệu, đặc biệt là trong môi trường có tiếng ồn và hiện là thành phần tiêu chuẩn trong nhiều quy trình phân tích âm nhạc và giọng nói.
Hiểu biết kỹ thuật
CREPE lấy khung âm thanh 1024 mẫu và chuyển nó qua sáu lớp tích chập xếp chồng lên nhau, kết thúc ở lớp đầu ra 360 đơn vị với kích hoạt sigmoid. Mỗi đơn vị tương ứng với một thùng cao độ cách nhau 20 xu trên khoảng sáu quãng tám. Mạng được huấn luyện với entropy chéo nhị phân chống lại mục tiêu bị làm mờ Gaussian tập trung vào cao độ thực. Theo suy luận, tần số dự đoán là mức trung bình có trọng số cục bộ của các lần kích hoạt xung quanh thùng đỉnh và chiều cao cực đại đóng vai trò là giá trị tin cậy.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của ước tính quảng cáo chiêu hàng CREPE
Tính toán cao độ đang hướng tới các mô hình chung xử lý đa âm (nhiều nốt đồng thời), độ trễ thấp hơn để điều chỉnh thời gian thực và hòa âm tự động cũng như các mạng chắt lọc nhỏ hơn chạy trên điện thoại và thiết bị nhúng. Kết quả đầu ra về độ tin cậy của CREPE ngày càng được đưa vào các tác vụ xuôi dòng như phiên âm tự động, chỉnh sửa giọng nói và phân tích hiệu suất biểu cảm. Các phương pháp tự giám sát và đa tác vụ học hỏi cao độ cùng với âm sắc và cách phát âm có khả năng mở rộng độ chính xác kiểu CREPE ngoài âm thanh đơn âm rõ ràng.
Triển khai trong thế giới thực
Theo dõi cao độ của ca sĩ để có phản hồi điều chỉnh theo thời gian thực trong các ứng dụng luyện giọng
Điều khiển các công cụ tự động điều chỉnh và điều chỉnh cao độ với các đường cong tần số cơ bản chính xác
Chuyển giai điệu của nhạc cụ solo thành MIDI hoặc bản nhạc
Phân tích ngữ điệu và độ rung trong giáo dục âm nhạc và nghiên cứu biểu diễn
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
TTS có thể điều khiển cao độ FastPitch
Câu hỏi thường gặp
What is CREPE Pitch Estimation?
CREPE là một mô hình học sâu ước tính tần số cơ bản (cao độ) của tín hiệu âm thanh đơn âm trực tiếp từ dạng sóng thô của nó. Nó đặt ra một tiêu chuẩn chính xác mới cho việc theo dõi cao độ, đặc biệt là trên các bản ghi ồn hoặc khó.
CREPE ước tính điều gì từ tín hiệu âm thanh?
CREPE dự đoán tần số cơ bản, tức là cao độ cảm nhận được của âm thanh đơn âm.
CREPE được thiết kế chủ yếu cho loại âm thanh nào?
CREPE ước tính cao độ cho các tín hiệu đơn âm như một giọng nói hoặc một nhạc cụ độc tấu.
CREPE đóng khung nhiệm vụ ước tính cao độ trong nội bộ như thế nào?
CREPE đưa ra phân bố xác suất trên 360 thùng quảng cáo, coi ước tính là phân loại.
CREPE lấy gì làm đầu vào trực tiếp?
Không giống như các phương pháp dựa trên biểu đồ phổ, CREPE hoạt động trên các khung dạng sóng thô thông qua các lớp chập.
Các thùng đựng nhựa đường của CREPE cách nhau khoảng bao xa?
CREPE sử dụng 360 ngăn cách nhau 20 xu, mang lại độ phân giải dưới nửa cung trong khoảng sáu quãng tám.