Tiếp theoHướng dẫn tiếp theo
Bộ mã hóa tự động thưa thớt để trích xuất tính năng
Ngôn ngữ AI
HƯỚNG DẪN KỸ THUẬT
Librosa là thư viện Python để tải các tính năng tín hiệu điện toán và âm thanh như biểu đồ phổ, MFCC, sắc độ và cường độ khởi động.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Những cách biểu diễn này giúp kiểm tra âm thanh và xây dựng đầu vào của máy học, nhưng ý nghĩa của chúng phụ thuộc vào việc lấy mẫu, đóng khung, chuẩn hóa và nhiệm vụ được mô hình hóa.
Librosa là gói Python để phân tích âm nhạc và âm thanh. Nó cung cấp các công cụ để tải âm thanh, trực quan hóa dạng sóng và biểu đồ phổ cũng như tính toán các tính năng được sử dụng trong phân tích hoặc học máy. Các lựa chọn phổ biến bao gồm cường độ biến đổi Fourier thời gian ngắn, biểu đồ phổ mel, hệ số epstral tần số mel, đặc điểm sắc độ, trọng tâm quang phổ và cường độ khởi phát. Mỗi tính năng tóm tắt các khía cạnh khác nhau của tín hiệu thay vì cung cấp một bộ mô tả chung. MFCC nén đường bao quang phổ thành các hệ số bằng cách sử dụng dãy bộ lọc tần số mel và phép biến đổi cosine. Chúng được sử dụng rộng rãi trong các tác vụ nói và âm thanh nhưng có thể loại bỏ các chi tiết hữu ích cho các ứng dụng khác. Tính năng Chroma gấp năng lượng quang phổ thành các lớp cao độ, thường là 12 lớp nửa cung, có thể hỗ trợ phân tích liên quan đến hòa âm. Sức mạnh khởi phát tóm tắt những thay đổi liên quan đến các cuộc tấn công âm nhạc hoặc âm thanh có thể xảy ra; nó không phải là một trình phát hiện sự kiện được đảm bảo. Việc trích xuất đặc trưng phụ thuộc vào việc lựa chọn khung. Tốc độ mẫu xác định cách ánh xạ mẫu theo thời gian và tần số. Độ dài cửa sổ kiểm soát khoảng phân tích cục bộ; độ dài bước nhảy đặt khoảng cách giữa các khung và ảnh hưởng đến độ phân giải thời gian. Việc căn giữa và đệm ảnh hưởng đến dấu thời gian của khung gần ranh giới. Nếu âm thanh được lấy mẫu lại, dạng sóng phải được chuyển đổi. Việc tải dưới dạng đơn âm, chọn tốc độ mẫu mục tiêu hoặc giữ nguyên các kênh âm thanh nổi sẽ thay đổi dữ liệu có sẵn cho các tính năng. Đối với học máy, quá trình tiền xử lý phải nhất quán giữa đào tạo và suy luận. Chỉ thống kê chuẩn hóa phù hợp trên dữ liệu đào tạo. Tách các bản ghi nguồn, loa hoặc phiên trước khi tạo các cửa sổ chồng chéo để các khung gần trùng lặp không bị rò rỉ khi xác thực. Nếu một mô hình sử dụng trình tự, kích thước khung tài liệu và thứ tự tính năng. Đánh giá các tính năng trong nhiệm vụ mục tiêu thay vì cho rằng các tính năng thông thường luôn cải thiện hiệu suất. Các giá trị mặc định và API của Librosa có thể phát triển, do đó, hãy ghim các phiên bản dành cho quy trình có thể tái tạo. Kiểm tra khả năng giải mã tệp, hoạt động của kênh, xử lý thời lượng và phạm vi số trên âm thanh đại diện. Các biểu đồ đặc trưng hỗ trợ giải thích, nhưng một biểu đồ phổ rõ ràng về mặt trực quan không chứng minh được rằng mô hình sẽ khái quát hóa.
Một nhà nghiên cứu vẽ biểu đồ quang phổ log-độ lớn và MFCC để so sánh giọng nói được ghi trong phòng yên tĩnh và ồn ào.
Bộ phân loại âm nhạc tính toán các đặc điểm sắc độ để tóm tắt năng lượng của cấp độ cao độ trên các khung hình liên tiếp.
Quy trình sự kiện âm thanh sử dụng cường độ khởi động để xác định ranh giới sự kiện đề xuất trước khi bộ phân loại xuôi dòng chạy.
Một kỹ sư lưu cài đặt tốc độ lấy mẫu, độ dài bước nhảy, độ dài cửa sổ và chuẩn hóa với từng bộ tính năng được trích xuất.
Bộ công cụ tính năng âm thanh sẽ tiếp tục kết nối các khái niệm xử lý tín hiệu với các mảng sẵn sàng cho mô hình, trong khi bộ mã hóa thần kinh giúp giảm nhu cầu thiết kế thủ công mọi biểu diễn. Các tính năng có thể giải thích được như MFCC và sắc độ vẫn có giá trị cho chẩn đoán, đường cơ sở nhỏ gọn và hệ thống dành riêng cho miền. Quy trình làm việc trong tương lai có thể tự động hóa việc theo dõi tham số và tính chẵn lẻ trong triển khai, nhưng người dùng vẫn cần kiểm tra các lựa chọn lấy mẫu và đóng khung. Tính hữu ích của tính năng phải được thể hiện trên các bản ghi được lưu giữ mang tính đại diện. Xóa siêu dữ liệu tính năng sẽ giúp các nhóm duy trì sự tương đương trong quá trình đào tạo và suy luận. Pin biến đổi với các bản ghi mô hình.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Librosa là thư viện Python để tải các tính năng tín hiệu điện toán và âm thanh như biểu đồ phổ, MFCC, sắc độ và cường độ khởi động. Những cách biểu diễn này giúp kiểm tra âm thanh và xây dựng đầu vào của máy học, nhưng ý nghĩa của chúng phụ thuộc vào việc lấy mẫu, đóng khung, chuẩn hóa và nhiệm vụ được mô hình hóa.
Việc trích xuất MFCC thường áp dụng các bộ lọc mel, logarit và biến đổi cosine.
Độ dài bước nhảy đặt khoảng cách cửa sổ phân tích di chuyển giữa các khung.
Việc lấy mẫu lại sẽ tính toán dạng sóng mới ở tốc độ lấy mẫu khác.
Sử dụng các ví dụ được đưa ra để ước tính thông tin rò rỉ tiền xử lý vào đánh giá.
Độ lớn giữ lại biên độ nhưng không giữ được thành phần pha phức tạp.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Bộ mã hóa tự động thưa thớt để trích xuất tính năng
Ngôn ngữ AI