คู่มือเสียง AI

คำพูด Moshi ฟูลดูเพล็กซ์

Moshi เป็น AI เสียงแบบเรียลไทม์แบบโอเพ่นซอร์สจาก Kyutai ที่พูดและฟังในเวลาเดียวกัน - ฟูลดูเพล็กซ์ - แทนที่จะผลัดกันเข้มงวด

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของคำพูดแบบฟูลดูเพล็กซ์ของ Moshi
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

ซึ่งช่วยขจัดความล่าช้าอันน่าอึดอัดและการพลิกผันอย่างเข้มงวดของผู้ช่วยด้านเสียงแบบเดิม

เจาะลึก

Moshi ซึ่งเปิดตัวโดยห้องแล็บ Kyutai ในฝรั่งเศสในปี 2024 เป็นรูปแบบพื้นฐานคำพูดเป็นคำพูดที่สร้างขึ้นสำหรับการสนทนาที่เป็นธรรมชาติและมีเวลาแฝงต่ำ Moshi แตกต่างจากผู้ช่วยไปป์ไลน์ที่เชื่อมโยงคำพูดเป็นข้อความ จากนั้นโมเดลภาษา จากนั้นจึงแปลงข้อความเป็นคำพูด Moshi จัดการเสียงได้โดยตรงและต่อเนื่อง แนวคิดหลักของมันคือฟูลดูเพล็กซ์: มันจำลองสตรีมเสียงสองสตรีมพร้อมกัน - ของผู้ใช้และของตัวเอง - เพื่อให้สามารถฟังขณะพูด จัดการกับสิ่งรบกวน ช่องสัญญาณด้านหลังด้วย 'mhm' และทับซ้อนกันตามธรรมชาติเหมือนที่มนุษย์ทำ มีความหน่วงแฝงประมาณ 160-200 มิลลิวินาที ซึ่งต่ำกว่า Assistant Lag ทั่วไปมาก ภายใต้ประทุนจะจับคู่โมเดลภาษาข้อความและเสียง (ฮีเลียม) พารามิเตอร์ 7B กับ Mimi ซึ่งเป็นตัวแปลงสัญญาณเสียงแบบนิวรัลที่บีบอัดคำพูดเป็นโทเค็นแยกที่โมเดลสามารถสร้างได้ Kyutai เปิดเผยน้ำหนักและรหัสอย่างเปิดเผย

การใช้งานจริงในโลกแห่งความเป็นจริง

เพื่อนเสียงแบบแฮนด์ฟรีที่คุณสามารถขัดจังหวะประโยคกลางได้ โดยตอบกลับภายในเวลาไม่ถึง 200 มิลลิวินาที

พื้นฐานการวิจัยแบบเปิดสำหรับการศึกษาบทสนทนาพูดฟูลดูเพล็กซ์แบบเรียลไทม์ โดยไม่มีกล่องดำที่เป็นกรรมสิทธิ์

ตัวช่วยการเข้าถึงที่สนทนาอย่างลื่นไหลกับผู้ใช้ที่ต้องการไปมาอย่างรวดเร็วและเป็นธรรมชาติ

การสร้างต้นแบบบอทเสียงบริการลูกค้าที่สามารถขัดจังหวะได้ ซึ่งจะส่งสัญญาณกลับและตอบสนองในขณะที่ผู้โทรยังคงพูดอยู่

อนาคตของคำพูดแบบฟูลดูเพล็กซ์ของ Moshi

การสร้างแบบจำลองฟูลดูเพล็กซ์กำลังกลายเป็นเทมเพลตสำหรับ AI เสียงที่เป็นธรรมชาติ ซึ่งมีอิทธิพลต่อระบบทั่วทั้งอุตสาหกรรม คาดว่าจะมีเวอร์ชันบนอุปกรณ์ที่เล็กกว่า การสนับสนุนหลายภาษา เวลาแฝงที่ต่ำกว่า และการบูรณาการเข้ากับตัวแทน การบริการลูกค้า และเครื่องมือในการเข้าถึง เนื่องจาก Moshi เปิดกว้าง นักวิจัยสามารถตรวจสอบและปรับปรุงได้อย่างอิสระ ความท้าทายยังคงอยู่เกี่ยวกับความน่าเชื่อถือของข้อเท็จจริง ความปลอดภัยในการพูดที่ทับซ้อนกัน และความแตกต่างทางอารมณ์ แต่การเปลี่ยนจากการสนทนาแบบเข้มงวดไปสู่การสนทนาที่ลื่นไหลและขัดจังหวะมีแนวโน้มว่าจะคงอยู่ถาวร

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

ทำแบบทดสอบ Moshi Full-Duplex Speech

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

Moshi Full-Duplex Speech คืออะไร

Moshi เป็น AI เสียงแบบเรียลไทม์แบบโอเพ่นซอร์สจาก Kyutai ที่พูดและฟังในเวลาเดียวกัน - ฟูลดูเพล็กซ์ - แทนที่จะผลัดกันเข้มงวด ซึ่งช่วยขจัดความล่าช้าอันน่าอึดอัดและการพลิกผันอย่างเข้มงวดของผู้ช่วยเสียงแบบเดิม

'ฟูลดูเพล็กซ์' หมายถึงอะไรในบริบทของ Moshi

ฟูลดูเพล็กซ์หมายความว่าโมเดลจะจัดการเสียงขาเข้าและขาออกพร้อมกัน จึงสามารถฟังขณะพูดและจัดการกับสิ่งรบกวนได้อย่างเป็นธรรมชาติ

องค์กรไหนปล่อยโมชิ?

Moshi ได้รับการพัฒนาและโอเพ่นซอร์สโดย Kyutai ซึ่งเป็นห้องปฏิบัติการวิจัย AI ของฝรั่งเศสในปี 2024

มีมี่ในระบบโมชิคืออะไร?

Mimi เป็นตัวแปลงสัญญาณเสียงแบบนิวรัลที่บีบอัดคำพูดต่อเนื่องเป็นสตรีมโทเค็นแยกที่มีบิตเรตต่ำซึ่งโมเดลสามารถสร้างได้

Moshi แตกต่างจากไปป์ไลน์ผู้ช่วยเสียงแบบเดิมอย่างไร

ผู้ช่วยแบบดั้งเดิมจะเชื่อมโยงคำพูดเป็นข้อความ โมเดลภาษา และการอ่านออกเสียงข้อความ Moshi เป็นโมเดลคำพูดต่อคำพูดเดียวที่จัดการเสียงอย่างต่อเนื่อง

Moshi ตั้งเป้าเวลาแฝงในการสนทนาไว้ประมาณเท่าใด

Moshi มีเวลาในการตอบสนองประมาณ 160-200 มิลลิวินาที ซึ่งต่ำกว่าผู้ช่วยด้านเสียงทั่วไปมาก ทำให้สามารถทับซ้อนกันและหยุดชะงักได้อย่างเป็นธรรมชาติ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →