ตัวแปลงสัญญาณเสียงประสาท

ตัวแปลงสัญญาณเสียงแบบนิวรอลใช้การเรียนรู้เชิงลึกเพื่อบีบอัดเสียงเป็นสตรีมเล็กๆ ของโทเค็นแยกกัน และสร้างใหม่ด้วยความเที่ยงตรงสูง พวกเขาทั้งสองบดขยี้แบนด์วิธสำหรับการโทรและการสตรีม และจัดเตรียมคำศัพท์โทเค็นที่โมเดลภาษาเสียงพูด

ตัวแปลงสัญญาณเสียงแบบนิวรัลคือเครือข่ายนิวรัลของตัวเข้ารหัส-ตัวถอดรหัสที่ได้รับการฝึกให้บีบอัดเสียงและสร้างเสียงขึ้นมาใหม่ ตัวเข้ารหัสจะเปลี่ยนรูปคลื่นให้กลายเป็นค่าแฝงขนาดกะทัดรัด ควอนไทเซอร์จะสแนปซึ่งแฝงอยู่ในรายการในหนังสือโค้ดที่เรียนรู้ซึ่งผลิตโทเค็นแยกกัน และเครื่องถอดรหัสจะสร้างรูปคลื่นขึ้นมาใหม่ เทคนิคสำคัญคือ Residual Vector Quantization (RVQ) ซึ่งใช้โดย SoundStream ของ Google และ EnCodec ของ Meta: หนังสือโค้ดหลายเล่มจะถูกซ้อนกัน โดยแต่ละเล่มจะเข้ารหัสข้อผิดพลาดที่เหลือจากรายการก่อนหน้า ดังนั้นคุณจึงสามารถแลกเปลี่ยนบิตเรตกับคุณภาพได้โดยใช้ Codebook ไม่มากก็น้อย โมเดลเหล่านี้ให้คุณภาพที่น่าประทับใจด้วยบิตเรตที่ต่ำมาก ซึ่งบางครั้งก็ไม่กี่กิโลบิตต่อวินาที ซึ่งเหนือกว่าตัวแปลงสัญญาณแบบคลาสสิกอย่าง Opus หรือ MP3 สิ่งที่สำคัญที่สุดคือโทเค็นแบบแยกเป็นสิ่งที่โมเดลอย่าง VALL-E และ MusicGen สร้างขึ้นอย่างแน่นอน