การแท็กเพลงด้วย Transformers
การแท็กเพลงใช้โมเดลหม้อแปลงไฟฟ้าเพื่อฟังเพลงและคาดเดาป้ายกำกับที่สื่อความหมาย เช่น แนวเพลง อารมณ์ เครื่องดนตรี และจังหวะ
ภาพรวม
It powers search, recommendation, and auto-organization across huge music catalogs.
เจาะลึก
การติดแท็กเพลงอัตโนมัติเป็นปัญหาการจำแนกประเภทหลายค่ายเพลง โดยหนึ่งแทร็กสามารถเป็นเพลง 'ร็อค' 'มีพลัง' 'กีตาร์' และ 'เครื่องดนตรี' ได้ในคราวเดียว Transformers จัดการมันด้วยการเปลี่ยนเสียงให้เป็นสเปกโตรแกรม (ภาพความถี่เวลา) และป้อนแพตช์ของมันผ่านเลเยอร์การเอาใจใส่ตนเอง เหมือนกับที่ Vision Transformer จัดการกับแพตช์รูปภาพ โมเดลต่างๆ เช่น Audio Spectrogram Transformer (AST) และ MERT เรียนรู้รูปแบบระยะไกลทั่วทั้งแทร็ก โดยบันทึกว่าคอรัสสัมพันธ์กับท่อนหนึ่งนาทีที่ต่างกันอย่างไร หลายๆ คลิปได้รับการฝึกอบรมล่วงหน้าด้วยตนเองในคลิปที่ไม่มีป้ายกำกับหลายล้านคลิป จากนั้นจึงปรับแต่งชุดข้อมูลที่แท็ก เช่น MagnaTagATune หรือชุดข้อมูลเพลงล้านเพลง เนื่องจากแท็กไม่ได้แยกจากกัน เลเยอร์สุดท้ายจึงใช้เอาต์พุตซิกมอยด์ที่ให้คะแนนเทียบกับเกณฑ์มาตรฐาน เช่น ความแม่นยำเฉลี่ยและ ROC-AUC
ข้อมูลเชิงลึกทางเทคนิค
เสียงดิบจะถูกแปลงเป็นสเปกโตรแกรม log-Mel โดยแบ่งออกเป็นแพตช์ที่ทับซ้อนกัน และฝังในเชิงเส้นตรงพร้อมการเข้ารหัสตำแหน่ง การเอาใจใส่ตัวเองช่วยให้ทุกแพทช์มีน้ำหนัก ดังนั้นกิจกรรมทางดนตรีที่อยู่ห่างไกลจึงมีอิทธิพลต่อแท็กแต่ละแท็ก ต่างจากตัวแยกประเภทรูปภาพป้ายเดียว การแท็กเพลงจะใช้ซิกมอยด์ต่อแท็ก แทนที่จะเป็นหนึ่งซอฟต์แม็กซ์ เนื่องจากป้ายเกิดขึ้นร่วมกัน การฝึกล่วงหน้าแบบมีผู้ดูแลด้วยตนเอง (การคาดการณ์โทเค็นเสียงที่ปิดบัง) ให้การนำเสนอที่ชัดเจนก่อนทำการปรับแต่งอย่างละเอียดบนชุดที่มีป้ายกำกับขนาดเล็ก
ผลกระทบเชิงกลยุทธ์
เข้าถึงและเข้าถึง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ต้นทุนและงบประมาณ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ความเร็วและขนาด
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
อนาคตของการแท็กเพลงด้วย Transformers
การแท็กกำลังผสานเข้ากับความเข้าใจในภาษาที่เป็นธรรมชาติ ดังนั้นคุณจึงสามารถค้นหา 'lo-fi ชวนฝันพร้อมเสียงแตกไวนิลเพื่อการเรียนรู้' แทนการใช้ปุ่มประเภทคงที่ โมเดลข้อความเสียงที่ตัดกัน เช่น CLAP จะจัดแนวเพลงและคำอธิบายให้อยู่ในที่เดียว ทำให้สามารถแท็กแบบ Zero-shot ที่ไม่เคยพบเห็นมาก่อนในการฝึก คาดหวังป้ายกำกับที่สมบูรณ์และละเอียดยิ่งขึ้น การจัดการประเภทฟิวชั่นที่ดีขึ้น และการติดแท็กบนอุปกรณ์เพื่อความเป็นส่วนตัว การถกเถียงเรื่องสิทธิและการระบุแหล่งที่มาเกี่ยวกับการฝึกอบรมเกี่ยวกับแคตตาล็อกที่มีลิขสิทธิ์จะกำหนดว่าโมเดลเหล่านี้สามารถใช้ข้อมูลใดได้บ้าง
การใช้งานจริงในโลกแห่งความเป็นจริง
แท็กประเภทและอารมณ์ที่สร้างอัตโนมัติ ดังนั้นบริการสตรีมมิ่งจึงสามารถสร้างเพลย์ลิสต์ 'โฟกัส' หรือ 'ออกกำลังกาย' ได้
ให้ไลบรารีเพลงแสดงแทร็ก 'กีตาร์อะคูสติกจังหวะเร็ว' สำหรับนักตัดต่อวิดีโอที่ค้นหาใบอนุญาตการซิงค์
ขับเคลื่อนกลไกการแนะนำที่ค้นหาเพลงที่คล้ายกันนอกเหนือจากที่ผู้ใช้ให้คะแนนอย่างชัดเจน
จัดระเบียบคอลเลกชันตัวอย่างของผู้ผลิตตามเครื่องดนตรี คีย์ และจังหวะที่ตรวจพบโดยอัตโนมัติ
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Music Tagging with Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การติดแท็กอัตโนมัติของเพลง
คำถามที่พบบ่อย
What is Music Tagging with Transformers?
การแท็กเพลงใช้โมเดลหม้อแปลงไฟฟ้าเพื่อฟังเพลงและคาดเดาป้ายกำกับที่สื่อความหมาย เช่น แนวเพลง อารมณ์ เครื่องดนตรี และจังหวะ ขับเคลื่อนการค้นหา คำแนะนำ และการจัดระเบียบอัตโนมัติในแคตตาล็อกเพลงขนาดใหญ่
เหตุใดการแท็กเพลงจึงถือเป็นปัญหาหลายป้ายกำกับ
เพลงอาจเป็นเพลงร็อค มีพลัง และขับเคลื่อนด้วยกีตาร์ไปพร้อมๆ กัน ดังนั้นจึงมีแท็กหลายแท็กในแทร็กเดียว
โดยทั่วไปแล้วแท็กเกอร์หม้อแปลงจะใช้การแสดงอินพุตแบบใด
เสียงจะถูกแปลงเป็นสเปกโตรแกรมความถี่เวลา จากนั้นจึงแพตช์และป้อนผ่านการเอาใจใส่ตนเอง เช่น แพตช์รูปภาพ
เหตุใดโมเดลการแท็กเพลงจึงใช้เอาต์พุต sigmoid ต่อแท็กแทนที่จะเป็น softmax อันเดียว
Softmax บังคับให้ความน่าจะเป็นรวมเป็นหนึ่ง (ตัวเลือกเดียว) sigmoid ช่วยให้แต่ละแท็กเป็นจริงโดยอิสระ
บทบาทของการฝึกอบรมล่วงหน้าแบบมีผู้ดูแลด้วยตนเองสำหรับโมเดลอย่าง MERT คืออะไร?
การฝึกอบรมล่วงหน้าเกี่ยวกับการคาดคะเนเสียงที่ปิดบังไว้บนคลังข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับจะสร้างการแสดงที่มีการปรับแต่งข้อมูลที่แท็กในภายหลัง
ชุดข้อมูลใดที่มักใช้เพื่อปรับแต่งและเปรียบเทียบแท็กเกอร์เพลง
MagnaTagATune และชุดข้อมูลเพลงล้านเพลงเป็นมาตรฐานการวัดประสิทธิภาพเพลงที่ติดแท็ก MNIST และ ImageNet เป็นชุดรูปภาพ