คู่มือเสียง AI

การหาปริมาณเวกเตอร์ตกค้าง

การหาปริมาณเวกเตอร์ที่เหลือ (RVQ) เป็นเทคนิคที่เปลี่ยนการฝังเสียงอย่างต่อเนื่องให้เป็นสแต็กขนาดกะทัดรัดของโค้ดแยกกันโดยการหาปริมาณข้อผิดพลาดที่เหลือซ้ำๆ

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการหาปริมาณเวกเตอร์ตกค้าง
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

สิ่งสำคัญเนื่องจากเป็นกลไกที่อยู่เบื้องหลังตัวแปลงสัญญาณประสาทสมัยใหม่ เช่น SoundStream และ EnCodec และเป็นโทเค็นสำหรับการสร้างเสียง

เจาะลึก

การหาปริมาณเวกเตอร์แบบธรรมดา (VQ) จะแทนที่เวกเตอร์ต่อเนื่องด้วยรายการที่ใกล้ที่สุดใน Codebook ที่เรียนรู้ แต่ Codebook เดียวที่ดีพอสำหรับคุณภาพสูงจะต้องมีรายการจำนวนมากอย่างมหาศาล RVQ แก้ปัญหานี้โดยการเรียงซ้อน codebooks ขนาดเล็กหลายเล่ม สมุดรหัสเล่มแรกสร้างการประมาณแบบหยาบ คุณลบมันออกเพื่อให้ได้ข้อผิดพลาดตกค้าง หาปริมาณส่วนที่เหลือด้วยสมุดโค้ดเล่มที่สอง ลบอีกครั้ง และดำเนินการต่อไปอีกขั้น N โค้ดสุดท้ายคือรายการดัชนีที่เลือกในทุกขั้นตอน และการสร้างใหม่คือผลรวมของเวกเตอร์ Codebook ที่เลือกทั้งหมด สิ่งนี้จะแยกตัวประกอบ Codebook ที่มีประสิทธิภาพจำนวนมากออกเป็น Codebook ขนาดเล็กจำนวนมาก ซึ่งลดหน่วยความจำและการคำนวณลงอย่างมาก ขณะเดียวกันก็ปล่อยให้บิตเรตขยายขนาดได้ง่ายๆ โดยใช้ขั้นตอนไม่มากก็น้อย การหยุดกลางคันของ Quantizer ในระหว่างการฝึกอบรมทำให้ Codebooks ในยุคแรกๆ มีข้อมูลมากที่สุด ส่งผลให้คุณภาพลดลงอย่างมาก

การใช้งานจริงในโลกแห่งความเป็นจริง

ตัวเข้ารหัสแบบแยกส่วนฝังอยู่ภายในตัวแปลงสัญญาณประสาท SoundStream, EnCodec และ DAC

การสร้างโทเค็นเสียงแบบเลเยอร์ที่ AudioLM และ MusicLM สร้างขึ้น

ปรับขนาดบิตเรตของตัวแปลงสัญญาณขึ้นหรือลงโดยการเปิดใช้งานขั้นตอนควอไลเซอร์มากขึ้นหรือน้อยลง

การบีบอัดการฝังมิติสูงในระบบการดึงข้อมูลและการจัดเก็บโดยใช้โค้ดบุ๊คแบบเรียงซ้อน

อนาคตของการหาปริมาณเวกเตอร์ตกค้าง

RVQ ได้กลายเป็นเลเยอร์การแยกส่วนมาตรฐานที่เชื่อมโยงการแสดงระบบประสาทอย่างต่อเนื่องกับโมเดลการสร้างที่ใช้โทเค็น และการปรับแต่งยังคงดำเนินต่อไป: การใช้สมุดรหัสที่ดีขึ้นเพื่อหลีกเลี่ยงรายการที่ 'ตาย' หนังสือโค้ดแบบแยกตัวประกอบและมิติต่ำ และลำดับชั้นโทเค็นที่มีความหมายเชิงความหมาย นอกเหนือจากเสียงแล้ว แนวคิดเรื่องการซ้อนสิ่งตกค้างแบบเดียวกันยังแพร่กระจายไปยังโทเค็นรูปภาพและวิดีโอ โดยวางตำแหน่ง RVQ ให้เป็นสะพานเชื่อมทั่วไประหว่างตัวเข้ารหัสแบบต่อเนื่องและเครื่องสร้างลำดับรูปแบบภาษา

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

ทำแบบทดสอบการวัดปริมาณเวกเตอร์ที่เหลือ

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การหาปริมาณเวกเตอร์ตกค้างคืออะไร

การหาปริมาณเวกเตอร์ที่เหลือ (RVQ) เป็นเทคนิคที่เปลี่ยนการฝังเสียงอย่างต่อเนื่องให้เป็นสแต็กขนาดกะทัดรัดของโค้ดแยกกันโดยการหาปริมาณข้อผิดพลาดที่เหลือซ้ำๆ มันสำคัญเพราะมันเป็นกลไกที่อยู่เบื้องหลังตัวแปลงสัญญาณประสาทสมัยใหม่ เช่น SoundStream และ EnCodec และโทเค็นสำหรับการสร้างเสียง

Codebook ที่ต่อเนื่องกันแต่ละเล่มใน RVQ มีจำนวนเท่าใด

หลังจากที่สมุดโค้ดเล่มแรกให้ค่าประมาณคร่าวๆ แล้ว RVQ จะลบมันและหาปริมาณของส่วนที่เหลือด้วยสมุดโค้ดถัดไป โดยทำซ้ำในแต่ละขั้นตอน

เหตุใดจึงใช้ RVQ แทน Codebook ขนาดใหญ่เพียงเล่มเดียว

Codebook เล่มเดียวที่เพียงพอสำหรับคุณภาพสูงจะมีขนาดใหญ่ที่ใช้งานไม่ได้ การเรียงซ้อน M codebooks ของรายการ K ทำให้ K^M รวมกันโดยมีพื้นที่จัดเก็บน้อยกว่ามาก

การสร้างใหม่ครั้งสุดท้ายเกิดขึ้นจากรหัส RVQ อย่างไร

การสร้างใหม่คือผลรวมของเวกเตอร์ Codebook ที่เลือกในทุกขั้นตอน โดยแต่ละเวกเตอร์จะแก้ไขส่วนที่เหลือของเวกเตอร์ก่อนหน้า

ด้วยขั้นตอน M ของรายการ K แต่ละรายการ RVQ แสดงถึงชุดรหัสที่มีประสิทธิภาพจำนวนเท่าใด

การเลือกรายการ K รายการใดรายการหนึ่งในแต่ละขั้นตอนอิสระของ M จะทำให้ได้ค่าผสมที่เป็นไปได้ของ K^M ในขณะที่จัดเก็บเฉพาะเวกเตอร์ M*K เท่านั้น

วัตถุประสงค์ทั่วไปของ 'การสูญเสียข้อผูกพัน' เมื่อฝึกอบรม codebooks RVQ คืออะไร

การสูญเสียความมุ่งมั่นจะลงโทษตัวเข้ารหัสเมื่อเอาต์พุตเบี่ยงเบนไปจากเวกเตอร์สมุดรหัสที่เลือก ทำให้การหาปริมาณมีเสถียรภาพ หนังสือรหัสมักจะอัปเดตผ่านค่าเฉลี่ยเคลื่อนที่แบบเอ็กซ์โปเนนเชียล

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →