ต่อไปคำแนะนำต่อไป
การฝังเสียงและการเรียนรู้การเป็นตัวแทน
เสียงเอไอ
คู่มือเสียง AI
EnCodec คือตัวแปลงสัญญาณเสียงแบบนิวรัลความเที่ยงตรงสูงของ Meta ที่บีบอัดคำพูดและเพลงด้วยบิตเรตที่ต่ำมากโดยมีคุณภาพทัดเทียมกับรูปแบบที่หนักกว่ามาก
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
EnCodec เปิดตัวโดย Meta AI ในปี 2022 ตามพิมพ์เขียว SoundStream ของตัวเข้ารหัส, Residual Vector Quantizer (RVQ) และตัวถอดรหัสที่ได้รับการฝึกตั้งแต่ต้นจนจบ แต่เพิ่มการปรับแต่งหลายประการ Convolutional Encoder ที่สามารถสตรีมได้ สเปกโตรแกรมหลายสเกลและการสูญเสียการสร้างโดเมนเวลาใหม่ และใช้ตัวแยกแยะฝ่ายตรงข้ามเพื่อคุณภาพการรับรู้ การสนับสนุนที่โดดเด่นคือโมเดลเอนโทรปีที่ใช้ Transformer ขนาดเล็กที่บีบอัดโค้ดเชิงปริมาณเพิ่มเติมโดยไม่สูญเสียคุณภาพ โดยบีบบิตพิเศษออกมาโดยไม่สูญเสียคุณภาพ นอกจากนี้ EnCodec ยังแนะนำบาลานเซอร์ที่จะปรับขนาดการสูญเสียการฝึกซ้อมของคู่แข่งโดยอัตโนมัติ เพื่อให้มีความเสถียร รองรับเสียงโมโนโฟนิก 24 kHz และเสียงสเตอริโอ 48 kHz ทำงานข้ามบิตเรตเช่น 1.5, 3, 6 และ 12 kbps และที่ 6 kbps จะให้คุณภาพเทียบเท่ากับ MP3 ที่ 64 kbps โทเค็นขับเคลื่อน MusicGen และ AudioGen ของ Meta
การสร้างโทเค็นเสียงสำหรับโปรแกรมสร้างข้อความเป็นเสียง MusicGen และ AudioGen ของ Meta
การบีบอัดเสียงพูด 24 kHz เป็น 1.5-6 kbps สำหรับการส่งข้อมูลแบบจำกัดแบนด์วิธ
เข้ารหัสเพลงสเตอริโอ 48 kHz ด้วยคุณภาพใกล้เคียง MP3 ที่บิตเรตที่สูงกว่ามาก
ทำหน้าที่เป็นตัวแปลงสัญญาณแบบดรอปอินโอเพ่นซอร์สสำหรับการวิจัยและไปป์ไลน์ ML เสียงผ่านจุดตรวจสอบที่เผยแพร่
EnCodec เป็นโทเค็นเริ่มต้นอยู่แล้วสำหรับโมเดลเสียงแบบเปิดหลายรุ่น และผู้สืบทอดของกำลังผลักดันความเที่ยงตรงที่สูงขึ้นด้วยบิตเรตที่ต่ำกว่า การสร้างสเตอริโอและเกรดดนตรีเต็มรูปแบบใหม่ และการบูรณาการที่เข้มงวดยิ่งขึ้นกับโปรแกรมสร้างข้อความเป็นเสียงและข้อความเป็นเพลง คาดว่าจะมีการใช้การสื่อสารแบนด์วิธต่ำ การสตรีมแบบเรียลไทม์ ในวงกว้างขึ้น และเป็นเลเยอร์ 'โทเค็นเสียง' มาตรฐานที่ช่วยให้สถาปัตยกรรมรูปแบบภาษาขนาดใหญ่สามารถอ่านและเขียนเสียงได้
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
EnCodec คือตัวแปลงสัญญาณเสียงแบบนิวรัลความเที่ยงตรงสูงของ Meta ที่บีบอัดคำพูดและเพลงด้วยบิตเรตที่ต่ำมากโดยมีคุณภาพทัดเทียมกับรูปแบบที่หนักกว่ามาก สิ่งสำคัญคือเพราะมันสนับสนุนระบบเสียงเจนเนอเรชั่นสมัยใหม่และจัดส่งในรูปแบบโอเพ่นซอร์สเพื่อให้ทุกคนนำไปใช้
EnCodec เปิดตัวโดย Meta AI (FAIR) ในปี 2022 ในฐานะตัวแปลงรหัสเสียงแบบนิวรัลความเที่ยงตรงสูง
EnCodec ฝึก Transformer ขนาดเล็กเพื่อทำนายความน่าจะเป็นของโทเค็นและรหัสเลขคณิต ทำให้เกิดการบีบอัดแบบไม่สูญเสียข้อมูลเพิ่มเติมนอกเหนือจาก RVQ
EnCodec ที่ 6 kbps ให้คุณภาพเชิงอัตนัยที่คล้ายคลึงกับ MP3 ที่ 64 kbps ซึ่งเป็นประสิทธิภาพที่เพิ่มขึ้นอย่างมาก
ด้วยการสูญเสียมากมาย (การสร้างใหม่ สเปกตรัม ฝ่ายตรงข้าม) บาลานเซอร์จะปรับขนาดการไล่ระดับสีใหม่ ดังนั้นจึงไม่มีเป้าหมายเดียวมาครอบงำ และทำให้การฝึกมีความเสถียร
เช่นเดียวกับ SoundStream EnCodec ใช้การหาปริมาณเวกเตอร์ที่เหลือเพื่อแยกการฝังตัวเข้ารหัสลงในดัชนีสมุดโค้ดแบบเรียงซ้อน
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การฝังเสียงและการเรียนรู้การเป็นตัวแทน
เสียงเอไอ