Tiếp theoHướng dẫn tiếp theo
Band-Split RoFormer để tách nhạc
AI âm thanh
HƯỚNG DẪN AI âm thanh
Tiện ích mở rộng âm nhạc AI sử dụng mô hình tổng hợp để tiếp tục một đoạn âm thanh hiện có, tạo lại một phần ở giữa (inpainting), tạo kiểu lại cho nó hoặc thêm và thay thế các thân nhạc cụ riêng lẻ.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Nó cho phép một ý tưởng ngắn phát triển thành một bản nhạc đầy đủ hoặc một bản nhạc thiếu sót được sửa chữa mà không cần ghi lại. Điều này quan trọng vì nó thay đổi cách mọi người soạn thảo và chỉnh sửa nhạc nhưng nó có giới hạn chất lượng rõ ràng và không loại bỏ quyền của bất kỳ ai sở hữu âm thanh gốc.
Tiện ích mở rộng lấy clip hiện có và tạo clip tiếp theo. Một cách tiếp cận phổ biến là tiếp tục tự thoái lui. MusicGen của Meta, được phát hành vào năm 2023 như một phần của AudioCraft, chuyển đổi âm thanh thành các mã thông báo rời rạc bằng một codec thần kinh có tên là EnCodec và dự đoán các mã thông báo tiếp theo sau mã thông báo bạn cung cấp, giống như mô hình ngôn ngữ tiếp tục một câu. Các dịch vụ tiêu dùng như Suno và Udio cung cấp tính năng này như một tính năng Mở rộng, thường cho phép bạn chọn điểm bắt đầu và thay đổi lời bài hát hoặc phong cách cho phần mới. Inpainting tái tạo vùng bị che ở giữa trong khi vẫn giữ được âm thanh ở cả hai bên, hữu ích cho việc sửa lời bài hát hoặc thay thế bốn ô nhịp. Các mô hình khuếch tán phù hợp với điều này vì âm thanh đã biết có thể được giữ cố định trong khi chỉ khoảng âm bị che được khử nhiễu. Các chế độ chuyển âm thanh thành âm thanh hoặc phối lại, giống như chế độ Stability AI được giới thiệu với Stable Audio 2.0 vào năm 2024, thêm một phần tiếng ồn vào đầu vào và tái tạo nó theo lời nhắc mới, nhờ đó cấu trúc vẫn tồn tại trong khi âm sắc và phong cách thay đổi. Cài đặt cường độ kiểm soát lượng bản gốc còn lại. Công việc gốc kết hợp sự phân tách và thế hệ. Các mô hình phân tách nguồn như Demucs mã nguồn mở của Meta phân chia hỗn hợp thành giọng hát, trống, âm trầm và các loại khác; sau đó máy phát điện có thể thêm hoặc thay thế một bộ phận được điều chỉnh trên phần còn lại. Các giới hạn là có thật. Độ lệch phần mở rộng dài: nhịp độ, phím, độ cân bằng phối âm và âm sắc giọng hát có thể bị lệch. Các tham gia có thể nhấp hoặc nhảy với âm lượng lớn. Người mẫu nhìn thấy một cửa sổ ngữ cảnh hạn chế nên mô-típ ngay từ phút đầu tiên có thể bị quên. Một quan niệm sai lầm phổ biến là người mẫu hiểu cấu trúc bài hát theo cách của một nhạc sĩ; nó phù hợp với các mẫu trong âm thanh gần đây. Các quyền cũng vẫn tồn tại: việc mở rộng bản ghi thương mại mà bạn không sở hữu sẽ tạo ra một bản ghi âm bắt nguồn từ bản ghi đó và các điều khoản của nhiều dịch vụ cấm tải lên âm thanh mà bạn không có quyền.
Một nhạc sĩ ngân nga ý tưởng điệp khúc dài 20 giây, tải nó lên một trình tạo nhạc và sử dụng tính năng Mở rộng từ mốc 0:18 để tạo ra một đoạn thơ và nhịp cầu nối tiếp theo cùng một phím và nhịp độ.
Một biên tập viên podcast có một bản nhạc được cấp phép dài 30 giây, quá ngắn so với phần giới thiệu, vì vậy cô ấy tạo phần tiếp theo và xen kẽ nó ở một vạch nhịp để đạt được 60 giây.
Một nhà sản xuất tách bản demo cũ thành giọng hát, trống, bass và các phần khác bằng Demucs, tắt tiếng phần thân trống yếu và yêu cầu một mô hình tạo ra phần trống mới được điều chỉnh trên các phần còn lại.
Một ban nhạc sơn hai ô nhịp trong đó ca sĩ đánh vần lời bài hát, giữ nguyên âm thanh ở cả hai bên, sau đó kiểm tra xem giọng hát được tái tạo có còn giống với cùng một ca sĩ hay không.
Nghiên cứu đang hướng tới bối cảnh dài hơn, nhận thức về cấu trúc tốt hơn và kiểm soát tốt hơn đối với các thân riêng lẻ, điều này sẽ làm giảm sự trôi dạt và khiến các chỉnh sửa ở cấp độ phần dễ dự đoán hơn. Tích hợp vào các máy trạm âm thanh kỹ thuật số là một hướng đi khả thi vì việc chỉnh sửa bên trong một dự án hiện có sẽ hữu ích hơn việc tạo toàn bộ bài hát trong trình duyệt. Chất lượng từng bước và việc bảo tồn bản sắc của một ca sĩ cụ thể vẫn là những vấn đề khó khăn. Về mặt quyền, các thỏa thuận sàng lọc và cấp phép tải lên giữa các dịch vụ và chủ sở hữu quyền vẫn đang phát triển, do đó, những gì người dùng có thể gia hạn hợp pháp sẽ phụ thuộc vào các điều khoản đang phát triển và kết quả của tòa án thay vì chỉ dựa vào công nghệ.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Tiện ích mở rộng âm nhạc AI sử dụng mô hình tổng hợp để tiếp tục một đoạn âm thanh hiện có, tạo lại một phần ở giữa (inpainting), tạo kiểu lại cho nó hoặc thêm và thay thế các thân nhạc cụ riêng lẻ. Nó cho phép một ý tưởng ngắn phát triển thành một bản nhạc đầy đủ hoặc một bản nhạc thiếu sót được sửa chữa mà không cần ghi lại. Điều này quan trọng vì nó thay đổi cách mọi người soạn thảo và chỉnh sửa nhạc nhưng nó có giới hạn chất lượng rõ ràng và không loại bỏ quyền của bất kỳ ai sở hữu âm thanh gốc.
Đoạn clip được chuyển đổi thành các mã thông báo riêng biệt và mô hình dự đoán mã thông báo nào sẽ xuất hiện tiếp theo, tương tự như cách mô hình ngôn ngữ tiếp tục văn bản.
MusicGen dựa vào EnCodec, một codec âm thanh thần kinh từ Meta, để thể hiện âm thanh dưới dạng mã thông báo riêng biệt.
Inpainting lấp đầy hoặc thay thế một khoảng đã chọn, chẳng hạn như lời bài hát bị lỗi, trong khi vẫn giữ nguyên âm thanh xung quanh.
Sự khuếch tán có thể hạn chế các vùng đã biết trong quá trình khử nhiễu, do đó chỉ phần bị thiếu được tái tạo để phù hợp với môi trường xung quanh.
Cường độ cao hơn sẽ tạo ra nhiều tiếng ồn hơn và tái tạo nhiều hơn, thay đổi đầu vào nhiều hơn; sức mạnh thấp hơn giữ nhiều cấu trúc của nó.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Band-Split RoFormer để tách nhạc
AI âm thanh