ต่อไปคำแนะนำต่อไป
การทำให้ข้อความเป็นมาตรฐานสำหรับคำพูด
เสียงเอไอ
คู่มือเสียง AI
Moshi เป็น AI เสียงแบบเรียลไทม์แบบโอเพ่นซอร์สจาก Kyutai ที่พูดและฟังในเวลาเดียวกัน - ฟูลดูเพล็กซ์ - แทนที่จะผลัดกันเข้มงวด
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
ซึ่งช่วยขจัดความล่าช้าอันน่าอึดอัดและการพลิกผันอย่างเข้มงวดของผู้ช่วยด้านเสียงแบบเดิม
Moshi ซึ่งเปิดตัวโดยห้องแล็บ Kyutai ในฝรั่งเศสในปี 2024 เป็นรูปแบบพื้นฐานคำพูดเป็นคำพูดที่สร้างขึ้นสำหรับการสนทนาที่เป็นธรรมชาติและมีเวลาแฝงต่ำ Moshi แตกต่างจากผู้ช่วยไปป์ไลน์ที่เชื่อมโยงคำพูดเป็นข้อความ จากนั้นโมเดลภาษา จากนั้นจึงแปลงข้อความเป็นคำพูด Moshi จัดการเสียงได้โดยตรงและต่อเนื่อง แนวคิดหลักของมันคือฟูลดูเพล็กซ์: มันจำลองสตรีมเสียงสองสตรีมพร้อมกัน - ของผู้ใช้และของตัวเอง - เพื่อให้สามารถฟังขณะพูด จัดการกับสิ่งรบกวน ช่องสัญญาณด้านหลังด้วย 'mhm' และทับซ้อนกันตามธรรมชาติเหมือนที่มนุษย์ทำ มีความหน่วงแฝงประมาณ 160-200 มิลลิวินาที ซึ่งต่ำกว่า Assistant Lag ทั่วไปมาก ภายใต้ประทุนจะจับคู่โมเดลภาษาข้อความและเสียง (ฮีเลียม) พารามิเตอร์ 7B กับ Mimi ซึ่งเป็นตัวแปลงสัญญาณเสียงแบบนิวรัลที่บีบอัดคำพูดเป็นโทเค็นแยกที่โมเดลสามารถสร้างได้ Kyutai เปิดเผยน้ำหนักและรหัสอย่างเปิดเผย
เพื่อนเสียงแบบแฮนด์ฟรีที่คุณสามารถขัดจังหวะประโยคกลางได้ โดยตอบกลับภายในเวลาไม่ถึง 200 มิลลิวินาที
พื้นฐานการวิจัยแบบเปิดสำหรับการศึกษาบทสนทนาพูดฟูลดูเพล็กซ์แบบเรียลไทม์ โดยไม่มีกล่องดำที่เป็นกรรมสิทธิ์
ตัวช่วยการเข้าถึงที่สนทนาอย่างลื่นไหลกับผู้ใช้ที่ต้องการไปมาอย่างรวดเร็วและเป็นธรรมชาติ
การสร้างต้นแบบบอทเสียงบริการลูกค้าที่สามารถขัดจังหวะได้ ซึ่งจะส่งสัญญาณกลับและตอบสนองในขณะที่ผู้โทรยังคงพูดอยู่
การสร้างแบบจำลองฟูลดูเพล็กซ์กำลังกลายเป็นเทมเพลตสำหรับ AI เสียงที่เป็นธรรมชาติ ซึ่งมีอิทธิพลต่อระบบทั่วทั้งอุตสาหกรรม คาดว่าจะมีเวอร์ชันบนอุปกรณ์ที่เล็กกว่า การสนับสนุนหลายภาษา เวลาแฝงที่ต่ำกว่า และการบูรณาการเข้ากับตัวแทน การบริการลูกค้า และเครื่องมือในการเข้าถึง เนื่องจาก Moshi เปิดกว้าง นักวิจัยสามารถตรวจสอบและปรับปรุงได้อย่างอิสระ ความท้าทายยังคงอยู่เกี่ยวกับความน่าเชื่อถือของข้อเท็จจริง ความปลอดภัยในการพูดที่ทับซ้อนกัน และความแตกต่างทางอารมณ์ แต่การเปลี่ยนจากการสนทนาแบบเข้มงวดไปสู่การสนทนาที่ลื่นไหลและขัดจังหวะมีแนวโน้มว่าจะคงอยู่ถาวร
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Moshi เป็น AI เสียงแบบเรียลไทม์แบบโอเพ่นซอร์สจาก Kyutai ที่พูดและฟังในเวลาเดียวกัน - ฟูลดูเพล็กซ์ - แทนที่จะผลัดกันเข้มงวด ซึ่งช่วยขจัดความล่าช้าอันน่าอึดอัดและการพลิกผันอย่างเข้มงวดของผู้ช่วยเสียงแบบเดิม
ฟูลดูเพล็กซ์หมายความว่าโมเดลจะจัดการเสียงขาเข้าและขาออกพร้อมกัน จึงสามารถฟังขณะพูดและจัดการกับสิ่งรบกวนได้อย่างเป็นธรรมชาติ
Moshi ได้รับการพัฒนาและโอเพ่นซอร์สโดย Kyutai ซึ่งเป็นห้องปฏิบัติการวิจัย AI ของฝรั่งเศสในปี 2024
Mimi เป็นตัวแปลงสัญญาณเสียงแบบนิวรัลที่บีบอัดคำพูดต่อเนื่องเป็นสตรีมโทเค็นแยกที่มีบิตเรตต่ำซึ่งโมเดลสามารถสร้างได้
ผู้ช่วยแบบดั้งเดิมจะเชื่อมโยงคำพูดเป็นข้อความ โมเดลภาษา และการอ่านออกเสียงข้อความ Moshi เป็นโมเดลคำพูดต่อคำพูดเดียวที่จัดการเสียงอย่างต่อเนื่อง
Moshi มีเวลาในการตอบสนองประมาณ 160-200 มิลลิวินาที ซึ่งต่ำกว่าผู้ช่วยด้านเสียงทั่วไปมาก ทำให้สามารถทับซ้อนกันและหยุดชะงักได้อย่างเป็นธรรมชาติ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การทำให้ข้อความเป็นมาตรฐานสำหรับคำพูด
เสียงเอไอ