แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบโมเดลภาษา VALL-E และ Codec

ตรวจสอบแนวทางโมเดลภาษาโทเค็นตัวแปลงสัญญาณของ VALL-E การสร้างโทเค็นแบบทีละขั้น และเงื่อนไขเบื้องหลังผลลัพธ์เสียงไม่กี่ช็อตที่รายงาน

เส้นทางแนะนำที่เกี่ยวข้องโมเดลภาษา Vall E และ Codec
คำถาม 1 ของ 8

แนวคิดหลักใดที่ทำให้ VALL-E แตกต่างจากระบบการอ่านออกเสียงข้อความรุ่นก่อนๆ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. แนวคิดหลักใดที่ทำให้ VALL-E แตกต่างจากระบบการอ่านออกเสียงข้อความรุ่นก่อนๆ
    • โดยคาดการณ์โทเค็นตัวแปลงสัญญาณประสาทเป็นงานการสร้างแบบจำลองภาษาแทนที่จะทำนายสเปกโตรแกรม
    • ใช้การประมวลผลสัญญาณที่ทำด้วยมือเท่านั้น
    • ต้องใช้เวลาหลายชั่วโมงในการฟังเสียงจากลำโพงเป้าหมาย
    • มันสร้างข้อความจากคำพูด
  2. VALL-E ต้องใช้เสียงอ้างอิงเท่าใดในการโคลนเสียงของผู้พูดใหม่
    • ประมาณหนึ่งชั่วโมง
    • ประมาณสามวินาที
    • ไม่มีเสียงอ้างอิงเลย
    • ประมาณสามสิบนาที
  3. VALL-E ใช้ตัวแปลงสัญญาณประสาทใดเพื่อสร้างโทเค็นเสียง
    • เอ็มพี3
    • บทประพันธ์
    • เข้ารหัส
    • WAV
  4. เหตุใด VALL-E จึงใช้ทั้งระยะการถดถอยอัตโนมัติและไม่ถดถอยอัตโนมัติ
    • เพื่อแปลคำพูดเป็นหลายภาษา
    • เพื่อแยกดนตรีออกจากคำพูด
    • เพื่อบีบอัดการป้อนข้อความ
    • เนื่องจากโทเค็นโคเดกซ้อนกันหลายชั้น ดังนั้นจึงคาดการณ์โทเค็นหยาบตามลำดับและโทเค็นละเอียดในแบบคู่ขนาน
  5. VALL-E ได้รับการฝึกใช้ข้อมูลเสียงพูดประมาณเท่าใด ซึ่งทำให้สามารถทำการโคลนแบบ Zero-Shot ได้อย่างแข็งแกร่ง
    • ประมาณ 60,000 ชม
    • ประมาณ 100 ชม
    • ประมาณ 1,000 ชม
    • ประมาณ 10 ชั่วโมง
  6. นอกจากเสียงต่ำแล้ว VALL-E จะเก็บอะไรจากคลิปอ้างอิงสั้นๆ ไว้ได้อีกบ้าง?
    • คำพูดที่แน่นอนของผู้พูดตลอดไป
    • สภาพแวดล้อมทางเสียงในการบันทึก
    • วิดีโอที่มาพร้อมกับมัน
    • รูปแบบไฟล์ต้นฉบับ
  7. What does VALL-E condition on to imitate a target speaker in its demonstration setup?
    • A photograph and a written biography only
    • A long labeled transcript from every target-speaker recording
    • A short audio prompt from that speaker plus the text to speak
    • A speaker ID with no audio example
  8. What text representation does the VALL-E paper use as input to its text-to-code model?
    • A raw waveform of the target utterance
    • A speaker’s face embedding
    • A list of MIDI notes
    • A phoneme sequence