Tự động gắn thẻ âm nhạc
Tính năng tự động gắn thẻ âm nhạc sử dụng công nghệ máy học để nghe một bài hát và tự động đính kèm các nhãn mô tả như thể loại, tâm trạng, nhạc cụ và nhịp độ.
Tổng quan
It powers the search, recommendation, and organization features behind every major streaming service.
Lặn sâu
Tính năng tự động gắn thẻ âm nhạc coi việc gắn nhãn là một vấn đề phân loại nhiều nhãn: một bản nhạc có thể là 'rock', 'mạnh mẽ' và 'theo hướng guitar' cùng một lúc. Các hệ thống hiện đại chuyển đổi âm thanh thô thành mel-Spectrogram (hình ảnh tần số thời gian của âm thanh) và truyền nó qua mạng thần kinh tích chập hoặc dựa trên máy biến áp được đào tạo trên các bộ dữ liệu như MagnaTagATune, Million Song Dataset hoặc MTG-Jamendo. Mô hình đưa ra xác suất cho mỗi thẻ có thể. Bởi vì các thẻ do con người áp dụng rất ồn ào và không đầy đủ nên việc đào tạo gặp nhiều thách thức và các nhãn bị mất cân bằng. Nền tảng tương tự ngày càng xuất phát từ các mô hình âm thanh tự giám sát, do đó, một bản trình bày duy nhất cung cấp khả năng gắn thẻ, đề xuất và tìm kiếm điểm tương đồng thay vì xây dựng một mô hình riêng cho mỗi thẻ.
Hiểu biết kỹ thuật
Âm thanh được chia thành các khung chồng chéo ngắn, được chuyển đổi thông qua Biến đổi Fourier thời gian ngắn và được ánh xạ lên thang mel bắt chước nhận thức cao độ của con người. CNN đọc biểu đồ phổ này giống như một hình ảnh, học các bộ lọc để tìm ra các mẫu hài hòa, nhịp điệu và âm sắc. Lớp cuối cùng sử dụng kích hoạt sigmoid (không phải softmax) vì các thẻ độc lập và không độc quyền, đồng thời được tối ưu hóa với entropy chéo nhị phân trên hàng trăm nhãn có thể có.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của việc tự động gắn thẻ âm nhạc
Tính năng tự động gắn thẻ đang chuyển sang các hệ thống từ vựng mở, có thể truy vấn văn bản được xây dựng trên các mô hình ngôn ngữ âm thanh như CLAP, nơi người dùng tìm kiếm 'bản nhạc tổng hợp mơ mộng để học tập' mà không cần thẻ được xác định trước. Mong đợi sự kết hợp chặt chẽ hơn với các công cụ âm nhạc tổng hợp, xử lý tốt hơn các thể loại hiếm và nhạc không phải phương Tây cũng như gắn thẻ trên thiết bị để đảm bảo quyền riêng tư. Các mô hình phụ đề viết mô tả đầy đủ bằng ngôn ngữ tự nhiên của một bản nhạc, thay vì các thẻ rời rạc, là biên giới tiếp theo.
Triển khai trong thế giới thực
Spotify và các dịch vụ tương tự gắn thẻ các video tải lên mới theo thể loại và tâm trạng để cung cấp đề xuất theo phong cách 'Khám phá hàng tuần'
Thư viện sản xuất âm nhạc cho phép người biên tập video lọc hàng triệu bản nhạc cổ điển bằng cách 'nâng cao tinh thần công ty' hoặc 'điện ảnh căng thẳng'
Phần mềm DJ tự động phát hiện BPM, key và năng lượng để các bản nhạc có thể được sắp xếp và khớp nhịp tự động
Nền tảng cấp phép âm nhạc gắn thẻ nhạc cụ và tâm trạng để khớp bài hát với bản tóm tắt quảng cáo
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Music Auto-Tagging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Gắn thẻ âm nhạc với Transformers
Câu hỏi thường gặp
What is Music Auto-Tagging?
Tính năng tự động gắn thẻ âm nhạc sử dụng công nghệ máy học để nghe một bài hát và tự động đính kèm các nhãn mô tả như thể loại, tâm trạng, nhạc cụ và nhịp độ. Nó hỗ trợ các tính năng tìm kiếm, đề xuất và tổ chức đằng sau mọi dịch vụ phát trực tuyến chính.
Tại sao tính năng tự động gắn thẻ âm nhạc sử dụng kích hoạt sigmoid trong lớp đầu ra thay vì softmax?
Tự động gắn thẻ có nhiều nhãn: một bản nhạc có thể đồng thời là 'rock', 'mạnh mẽ' và 'guitar', vì vậy mỗi thẻ cần có xác suất độc lập riêng thông qua sigmoid.
Hầu hết các mô hình gắn thẻ tự động hiện đại hiện đại đều đưa thông tin đầu vào nào vào mạng thần kinh của chúng?
Âm thanh thường được chuyển đổi thành mel-Spectrogram, một hình ảnh tần số thời gian mà CNN có thể xử lý giống như một bức ảnh.
Tại sao thang đo mel được sử dụng thay vì thang đo tần số tuyến tính đơn giản?
Thang đo mel không gian tần số để phù hợp với nhận thức cao độ của con người, mang lại độ phân giải cao hơn cho các tần số thấp hơn mà tai chúng ta quan tâm nhất.
Thách thức lớn khi đào tạo các mô hình gắn thẻ tự động trên bộ dữ liệu trong thế giới thực là gì?
Các thẻ có nguồn gốc từ cộng đồng không nhất quán và nhiều thẻ hợp lệ bị thiếu và một số thẻ xuất hiện thường xuyên hơn các thẻ khác, khiến việc học trở nên khó khăn hơn.
Tập dữ liệu nào thường được sử dụng để đào tạo và đánh giá các hệ thống tự động gắn thẻ âm nhạc?
MagnaTagATune, cùng với Bộ dữ liệu triệu bài hát và MTG-Jamendo, là tiêu chuẩn chuẩn cho việc gắn thẻ âm nhạc. ImageNet dành cho hình ảnh, SQuAD dành cho QA văn bản và LibriSpeech dành cho lời nói.