Truy xuất thông tin âm nhạc
Truy xuất thông tin âm nhạc (MIR) là lĩnh vực dạy máy tính phân tích, hiểu và tìm kiếm âm nhạc từ tín hiệu âm thanh và điểm số.
Tổng quan
It powers everything from Shazam-style song identification to Spotify's recommendations and automatic music tagging.
Lặn sâu
Truy xuất thông tin âm nhạc nằm ở giao điểm của xử lý tín hiệu, học máy và âm nhạc. Các nhà nghiên cứu trích xuất các đặc điểm từ âm thanh như biểu đồ phổ, hệ số tần số mel (MFCC), vectơ sắc độ và nhịp độ để ghi lại cao độ, âm sắc, nhịp điệu và hòa âm. Từ đó, hệ thống MIR thực hiện các tác vụ như theo dõi nhịp, phát hiện phím, phân loại thể loại, trích xuất giai điệu, nhận dạng bài hát cover và đề xuất nhạc. Hội nghị ISMIR hàng năm và chiến dịch đánh giá MIREX đã thúc đẩy tiến bộ kể từ năm 2000. MIR hiện đại ngày càng sử dụng mạng lưới tích chập và biến áp học sâu, đào tạo trực tiếp trên biểu đồ phổ và nhúng âm thanh tự giám sát, thay thế nhiều tính năng thủ công trong khi vẫn dựa vào các khái niệm lý thuyết âm nhạc để gắn nhãn và diễn giải kết quả.
Hiểu biết kỹ thuật
Hầu hết các đường dẫn MIR bắt đầu bằng cách chuyển đổi âm thanh thành biểu diễn tần số thời gian bằng cách sử dụng Biến đổi Fourier thời gian ngắn, thường được biến đổi thành thang tần số mel hoặc log phản ánh thính giác của con người. Tính năng Chroma xếp tất cả các quãng tám thành 12 lớp cao độ để thực hiện các tác vụ hòa âm, trong khi MFCC nén âm sắc. Sau đó, mạng lưới thần kinh hoặc bộ phân loại sẽ ánh xạ các biểu diễn này thành các nhãn như nhịp độ, khóa hoặc thể loại. Đánh giá sử dụng các số liệu dành riêng cho nhiệm vụ như thước đo F để theo dõi nhịp.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của việc truy xuất thông tin âm nhạc
MIR đang chuyển hướng sang các mô hình âm thanh tự giám sát lớn, tìm hiểu các cách trình bày âm nhạc chung từ hàng triệu bản nhạc không được gắn nhãn, sau đó tinh chỉnh cho các tác vụ cụ thể với ít dữ liệu được gắn nhãn. Mong đợi sự tích hợp chặt chẽ hơn với các mô hình âm nhạc tổng hợp, tìm kiếm âm nhạc bằng ngôn ngữ tự nhiên ("tìm một bản nhạc vui nhộn lạc quan bằng bút vẽ") và xử lý tốt hơn các truyền thống phi phương Tây mà các mô hình chính và sắc độ tiêu chuẩn bỏ qua. Các hệ thống đa phương thức kết hợp âm thanh, lời bài hát, bản nhạc và siêu dữ liệu sẽ đưa ra đề xuất và khám phá mang nhiều sắc thái và cá nhân hóa hơn.
Triển khai trong thế giới thực
Shazam và các ứng dụng tương tự xác định bài hát từ bản ghi âm điện thoại ồn ào bằng dấu vân tay âm thanh
Spotify và Apple Music tạo đề xuất và danh sách phát tự động dựa trên sự giống nhau về âm thanh đã học
Tự động gắn thẻ tâm trạng, thể loại và nhạc cụ cho các thư viện âm nhạc và âm thanh sản xuất khổng lồ
Phát hiện các phiên bản bìa và các bản trùng khớp bản quyền tiềm ẩn trên các nền tảng như YouTube Content ID
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Music Information Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tự động gắn thẻ âm nhạc
Câu hỏi thường gặp
What is Music Information Retrieval?
Truy xuất thông tin âm nhạc (MIR) là lĩnh vực dạy máy tính phân tích, hiểu và tìm kiếm âm nhạc từ tín hiệu âm thanh và điểm số. Nó hỗ trợ mọi thứ, từ nhận dạng bài hát theo phong cách Shazam đến đề xuất của Spotify và gắn thẻ nhạc tự động.
Các tính năng sắc độ chủ yếu được sử dụng để chụp trong MIR là gì?
Tính năng Chroma gấp năng lượng từ tất cả các quãng tám thành 12 lớp cao độ, khiến chúng rất phù hợp cho việc phân tích hòa âm, hợp âm và phím.
Biến đổi nào thường là bước đầu tiên để biến âm thanh thành biểu diễn tần số thời gian?
Phép biến đổi Fourier thời gian ngắn tạo ra biểu đồ phổ, nền tảng cho hầu hết các tính năng và mô hình MIR.
Một ứng dụng như Shazam dựa vào điều gì để xác định một bài hát?
Vân tay tạo ra các giá trị băm nhỏ gọn, chống ồn của các đỉnh âm thanh khớp với cơ sở dữ liệu được lập chỉ mục.
Hội nghị thường niên nào gắn liền nhất với nghiên cứu MIR?
ISMIR, hội nghị của Hiệp hội Truy xuất Thông tin Âm nhạc Quốc tế, là địa điểm trung tâm của lĩnh vực này.
Ưu điểm chính của mô hình âm thanh tự giám sát trong MIR hiện đại là gì?
Học tập tự giám sát trích xuất cấu trúc âm nhạc chung từ âm thanh không được gắn nhãn, giảm nhu cầu về các bộ dữ liệu được gắn nhãn thủ công tốn kém.