แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบโมเดลภาษา VALL-E และ Codec
ตรวจสอบแนวทางโมเดลภาษาโทเค็นตัวแปลงสัญญาณของ VALL-E การสร้างโทเค็นแบบทีละขั้น และเงื่อนไขเบื้องหลังผลลัพธ์เสียงไม่กี่ช็อตที่รายงาน
คำถาม 1 ของ 8
แนวคิดหลักใดที่ทำให้ VALL-E แตกต่างจากระบบการอ่านออกเสียงข้อความรุ่นก่อนๆ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- แนวคิดหลักใดที่ทำให้ VALL-E แตกต่างจากระบบการอ่านออกเสียงข้อความรุ่นก่อนๆ
- โดยคาดการณ์โทเค็นตัวแปลงสัญญาณประสาทเป็นงานการสร้างแบบจำลองภาษาแทนที่จะทำนายสเปกโตรแกรม
- ใช้การประมวลผลสัญญาณที่ทำด้วยมือเท่านั้น
- ต้องใช้เวลาหลายชั่วโมงในการฟังเสียงจากลำโพงเป้าหมาย
- มันสร้างข้อความจากคำพูด
- VALL-E ต้องใช้เสียงอ้างอิงเท่าใดในการโคลนเสียงของผู้พูดใหม่
- ประมาณหนึ่งชั่วโมง
- ประมาณสามวินาที
- ไม่มีเสียงอ้างอิงเลย
- ประมาณสามสิบนาที
- VALL-E ใช้ตัวแปลงสัญญาณประสาทใดเพื่อสร้างโทเค็นเสียง
- เอ็มพี3
- บทประพันธ์
- เข้ารหัส
- WAV
- เหตุใด VALL-E จึงใช้ทั้งระยะการถดถอยอัตโนมัติและไม่ถดถอยอัตโนมัติ
- เพื่อแปลคำพูดเป็นหลายภาษา
- เพื่อแยกดนตรีออกจากคำพูด
- เพื่อบีบอัดการป้อนข้อความ
- เนื่องจากโทเค็นโคเดกซ้อนกันหลายชั้น ดังนั้นจึงคาดการณ์โทเค็นหยาบตามลำดับและโทเค็นละเอียดในแบบคู่ขนาน
- VALL-E ได้รับการฝึกใช้ข้อมูลเสียงพูดประมาณเท่าใด ซึ่งทำให้สามารถทำการโคลนแบบ Zero-Shot ได้อย่างแข็งแกร่ง
- ประมาณ 60,000 ชม
- ประมาณ 100 ชม
- ประมาณ 1,000 ชม
- ประมาณ 10 ชั่วโมง
- นอกจากเสียงต่ำแล้ว VALL-E จะเก็บอะไรจากคลิปอ้างอิงสั้นๆ ไว้ได้อีกบ้าง?
- คำพูดที่แน่นอนของผู้พูดตลอดไป
- สภาพแวดล้อมทางเสียงในการบันทึก
- วิดีโอที่มาพร้อมกับมัน
- รูปแบบไฟล์ต้นฉบับ
- What does VALL-E condition on to imitate a target speaker in its demonstration setup?
- A photograph and a written biography only
- A long labeled transcript from every target-speaker recording
- A short audio prompt from that speaker plus the text to speak
- A speaker ID with no audio example
- What text representation does the VALL-E paper use as input to its text-to-code model?
- A raw waveform of the target utterance
- A speaker’s face embedding
- A list of MIDI notes
- A phoneme sequence