คู่มือเสียง AI
การหาปริมาณเวกเตอร์ตกค้าง
การหาปริมาณเวกเตอร์ที่เหลือ (RVQ) เป็นเทคนิคที่เปลี่ยนการฝังเสียงอย่างต่อเนื่องให้เป็นสแต็กขนาดกะทัดรัดของโค้ดแยกกันโดยการหาปริมาณข้อผิดพลาดที่เหลือซ้ำๆ
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
สิ่งสำคัญเนื่องจากเป็นกลไกที่อยู่เบื้องหลังตัวแปลงสัญญาณประสาทสมัยใหม่ เช่น SoundStream และ EnCodec และเป็นโทเค็นสำหรับการสร้างเสียง
เจาะลึก
การหาปริมาณเวกเตอร์แบบธรรมดา (VQ) จะแทนที่เวกเตอร์ต่อเนื่องด้วยรายการที่ใกล้ที่สุดใน Codebook ที่เรียนรู้ แต่ Codebook เดียวที่ดีพอสำหรับคุณภาพสูงจะต้องมีรายการจำนวนมากอย่างมหาศาล RVQ แก้ปัญหานี้โดยการเรียงซ้อน codebooks ขนาดเล็กหลายเล่ม สมุดรหัสเล่มแรกสร้างการประมาณแบบหยาบ คุณลบมันออกเพื่อให้ได้ข้อผิดพลาดตกค้าง หาปริมาณส่วนที่เหลือด้วยสมุดโค้ดเล่มที่สอง ลบอีกครั้ง และดำเนินการต่อไปอีกขั้น N โค้ดสุดท้ายคือรายการดัชนีที่เลือกในทุกขั้นตอน และการสร้างใหม่คือผลรวมของเวกเตอร์ Codebook ที่เลือกทั้งหมด สิ่งนี้จะแยกตัวประกอบ Codebook ที่มีประสิทธิภาพจำนวนมากออกเป็น Codebook ขนาดเล็กจำนวนมาก ซึ่งลดหน่วยความจำและการคำนวณลงอย่างมาก ขณะเดียวกันก็ปล่อยให้บิตเรตขยายขนาดได้ง่ายๆ โดยใช้ขั้นตอนไม่มากก็น้อย การหยุดกลางคันของ Quantizer ในระหว่างการฝึกอบรมทำให้ Codebooks ในยุคแรกๆ มีข้อมูลมากที่สุด ส่งผลให้คุณภาพลดลงอย่างมาก
การใช้งานจริงในโลกแห่งความเป็นจริง
ตัวเข้ารหัสแบบแยกส่วนฝังอยู่ภายในตัวแปลงสัญญาณประสาท SoundStream, EnCodec และ DAC
การสร้างโทเค็นเสียงแบบเลเยอร์ที่ AudioLM และ MusicLM สร้างขึ้น
ปรับขนาดบิตเรตของตัวแปลงสัญญาณขึ้นหรือลงโดยการเปิดใช้งานขั้นตอนควอไลเซอร์มากขึ้นหรือน้อยลง
การบีบอัดการฝังมิติสูงในระบบการดึงข้อมูลและการจัดเก็บโดยใช้โค้ดบุ๊คแบบเรียงซ้อน
อนาคตของการหาปริมาณเวกเตอร์ตกค้าง
RVQ ได้กลายเป็นเลเยอร์การแยกส่วนมาตรฐานที่เชื่อมโยงการแสดงระบบประสาทอย่างต่อเนื่องกับโมเดลการสร้างที่ใช้โทเค็น และการปรับแต่งยังคงดำเนินต่อไป: การใช้สมุดรหัสที่ดีขึ้นเพื่อหลีกเลี่ยงรายการที่ 'ตาย' หนังสือโค้ดแบบแยกตัวประกอบและมิติต่ำ และลำดับชั้นโทเค็นที่มีความหมายเชิงความหมาย นอกเหนือจากเสียงแล้ว แนวคิดเรื่องการซ้อนสิ่งตกค้างแบบเดียวกันยังแพร่กระจายไปยังโทเค็นรูปภาพและวิดีโอ โดยวางตำแหน่ง RVQ ให้เป็นสะพานเชื่อมทั่วไประหว่างตัวเข้ารหัสแบบต่อเนื่องและเครื่องสร้างลำดับรูปแบบภาษา
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
- ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
- ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
ระวัง
- การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
- ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
- เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
ขั้นตอนต่อไป
- ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
- ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
- กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
- ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบการวัดปริมาณเวกเตอร์ที่เหลือ
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การหาปริมาณเวกเตอร์ตกค้างคืออะไร
การหาปริมาณเวกเตอร์ที่เหลือ (RVQ) เป็นเทคนิคที่เปลี่ยนการฝังเสียงอย่างต่อเนื่องให้เป็นสแต็กขนาดกะทัดรัดของโค้ดแยกกันโดยการหาปริมาณข้อผิดพลาดที่เหลือซ้ำๆ มันสำคัญเพราะมันเป็นกลไกที่อยู่เบื้องหลังตัวแปลงสัญญาณประสาทสมัยใหม่ เช่น SoundStream และ EnCodec และโทเค็นสำหรับการสร้างเสียง
Codebook ที่ต่อเนื่องกันแต่ละเล่มใน RVQ มีจำนวนเท่าใด
หลังจากที่สมุดโค้ดเล่มแรกให้ค่าประมาณคร่าวๆ แล้ว RVQ จะลบมันและหาปริมาณของส่วนที่เหลือด้วยสมุดโค้ดถัดไป โดยทำซ้ำในแต่ละขั้นตอน
เหตุใดจึงใช้ RVQ แทน Codebook ขนาดใหญ่เพียงเล่มเดียว
Codebook เล่มเดียวที่เพียงพอสำหรับคุณภาพสูงจะมีขนาดใหญ่ที่ใช้งานไม่ได้ การเรียงซ้อน M codebooks ของรายการ K ทำให้ K^M รวมกันโดยมีพื้นที่จัดเก็บน้อยกว่ามาก
การสร้างใหม่ครั้งสุดท้ายเกิดขึ้นจากรหัส RVQ อย่างไร
การสร้างใหม่คือผลรวมของเวกเตอร์ Codebook ที่เลือกในทุกขั้นตอน โดยแต่ละเวกเตอร์จะแก้ไขส่วนที่เหลือของเวกเตอร์ก่อนหน้า
ด้วยขั้นตอน M ของรายการ K แต่ละรายการ RVQ แสดงถึงชุดรหัสที่มีประสิทธิภาพจำนวนเท่าใด
การเลือกรายการ K รายการใดรายการหนึ่งในแต่ละขั้นตอนอิสระของ M จะทำให้ได้ค่าผสมที่เป็นไปได้ของ K^M ในขณะที่จัดเก็บเฉพาะเวกเตอร์ M*K เท่านั้น
วัตถุประสงค์ทั่วไปของ 'การสูญเสียข้อผูกพัน' เมื่อฝึกอบรม codebooks RVQ คืออะไร
การสูญเสียความมุ่งมั่นจะลงโทษตัวเข้ารหัสเมื่อเอาต์พุตเบี่ยงเบนไปจากเวกเตอร์สมุดรหัสที่เลือก ทำให้การหาปริมาณมีเสถียรภาพ หนังสือรหัสมักจะอัปเดตผ่านค่าเฉลี่ยเคลื่อนที่แบบเอ็กซ์โปเนนเชียล
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้