рдСрдбрд┐рдпреЛ рдПрдЖрдИ рдЧрд╛рдЗрдб

VALL-E рдФрд░ рдХреЛрдбреЗрдХ рднрд╛рд╖рд╛ рдореЙрдбрд▓

VALL-E is a zero-shot text-to-speech research system that predicts EnCodec audio tokens from phoneme text and a short acoustic prompt.

рдЗрд╕ рдЧрд╛рдЗрдб рдХреЛ рд╕реБрдиреЗрдВрдПрдЖрдИ-рдиреИрд░реЗрдЯреЗрдб ┬╖ ~1 min

рдЗрд╕ рдкреГрд╖реНрда рдкрд░1 рдорд┐рдирдЯ рдкрдврд╝реЗрдВ
  1. рд╕рд┐рдВрд╣рд╛рд╡рд▓реЛрдХрди
  2. рдЧрд╣рд░рд╛ рдЧреЛрддрд╛
  3. рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╡рд┐рд╢реНрд╡ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди
  4. VALL-E рдФрд░ рдХреЛрдбреЗрдХ рднрд╛рд╖рд╛ рдореЙрдбрд▓ рдХрд╛ рднрд╡рд┐рд╖реНрдп
  5. рдЗрд╕реЗ рд╡реНрдпрд╡рд╣рд╛рд░ рдореЗрдВ рд▓рд╛рдирд╛
  6. рдЕрдиреНрд╡реЗрд╖рдг рдХрд░рддреЗ рд░рд╣реЗрдВ
  7. рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдкреНрд░рд╢реНрдиреЛрдВ

рд╕рд┐рдВрд╣рд╛рд╡рд▓реЛрдХрди

Its claims are limited to the model and evaluations described in the original paper.

рдЧрд╣рд░рд╛ рдЧреЛрддрд╛

The VALL-E paper frames text-to-speech as conditional language modeling over EnCodec codes. It conditions on phoneme sequences and acoustic prompt codes from a short, approximately three-second recording. The model predicts coarse tokens autoregressively and fine tokens non-autoregressively, then decodes the codes to audio. The authors train on 60,000 hours of English speech and report zero-shot results in their described evaluation, including preservation of speaker characteristics and acoustic environment. Those findings do not establish general performance for other languages, speakers, tasks or deployments.

рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╡рд┐рд╢реНрд╡ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди

Checking the paperтАЩs approximately three-second speaker prompt setup.

Tracing the text-to-code model and its phoneme input.

Understanding the coarse autoregressive and fine non-autoregressive code prediction stages.

Reviewing the paperтАЩs 60,000-hour LibriLight training data and reported zero-shot evaluations.

VALL-E рдФрд░ рдХреЛрдбреЗрдХ рднрд╛рд╖рд╛ рдореЙрдбрд▓ рдХрд╛ рднрд╡рд┐рд╖реНрдп

Further evaluations should test speaker and language coverage, content preservation and robustness on independently sampled data. The original paper does not establish streaming deployment, clinical voice restoration, dubbing policy or watermarking effectiveness.

рдЗрд╕реЗ рд╡реНрдпрд╡рд╣рд╛рд░ рдореЗрдВ рд▓рд╛рдирд╛

рдпрд╣ рдХреНрдпреЛрдВ рдорд╛рдпрдиреЗ рд░рдЦрддрд╛ рд╣реИ?

  • рдкрд╣реБрдВрдЪ рдФрд░ рдкрд╣реБрдВрдЪ. рдпрд╣ рдкреНрд░рддрд┐рд▓реЗрдЦрди, рдХрдерди рдФрд░ рдзреНрд╡рдирд┐ рдЗрдВрдЯрд░рдлреЗрд╕ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдкрд╣реБрдВрдЪ рдореЗрдВ рд╕реБрдзрд╛рд░ рдХрд░рддрд╛ рд╣реИред
  • рд▓рд╛рдЧрдд рдФрд░ рдмрдЬрдЯ. рдореАрдбрд┐рдпрд╛ рдЯреАрдореЗрдВ рдЫреЛрдЯреЗ рдмрдЬрдЯ рдореЗрдВ рдмреЗрд╣рддрд░ рдСрдбрд┐рдпреЛ рддреЗрдЬреА рд╕реЗ рднреЗрдЬ рд╕рдХрддреА рд╣реИрдВред
  • рдЧрддрд┐ рдФрд░ рдкреИрдорд╛рдирд╛. рдЧреНрд░рд╛рд╣рдХ-рд╕рд╛рдордирд╛ рдХрд░рдиреЗ рд╡рд╛рд▓реА рдкреНрд░рдгрд╛рд▓рд┐рдпрд╛рдБ рдмрдбрд╝реЗ рдкреИрдорд╛рдиреЗ рдкрд░ рдмреЛрд▓реА рдЬрд╛рдиреЗ рд╡рд╛рд▓реА рдмрд╛рддрдЪреАрдд рдХреЛ рд╕рдВрд╕рд╛рдзрд┐рдд рдХрд░ рд╕рдХрддреА рд╣реИрдВред

рдХрд╛ рдзреНрдпрд╛рди рд░рдЦреЗрдВ

  • рд╕рд╣рдорддрд┐ рдХреЗ рдЕрднрд╛рд╡ рдореЗрдВ рдЖрд╡рд╛рдЬ рдХреЗ рджреБрд░реБрдкрдпреЛрдЧ рдФрд░ рдкреНрд░рддрд┐рд░реВрдкрдг рдХреЗ рдЬреЛрдЦрд┐рдо рдмрдврд╝ рдЬрд╛рддреЗ рд╣реИрдВред
  • рдЙрдЪреНрдЪрд╛рд░рдг, рдмреЛрд▓рд┐рдпреЛрдВ рдпрд╛ рд╢реЛрд░ рднрд░реЗ рд╡рд╛рддрд╛рд╡рд░рдг рдореЗрдВ рд╕рдЯреАрдХрддрд╛ рдХрдо рд╣реЛ рд╕рдХрддреА рд╣реИред
  • рд╕реНрдкрд╖реНрдЯ рд▓реЗрдмрд▓рд┐рдВрдЧ рдХреЗ рдмрд┐рдирд╛ рд╕рд┐рдВрдереЗрдЯрд┐рдХ рдСрдбрд┐рдпреЛ рдХреЛ рдкреНрд░рд╛рдорд╛рдгрд┐рдХ рднрд╛рд╖рдг рд╕рдордЭрдиреЗ рдХреА рднреВрд▓ рдХреА рдЬрд╛ рд╕рдХрддреА рд╣реИред

рдЕрдЧрд▓реЗ рдЪрд░рдг

  1. рд╡реЙрдпрд╕ рдХреИрдкреНрдЪрд░, рдХреНрд▓реЛрдирд┐рдВрдЧ рдФрд░ рдкреБрди: рдЙрдкрдпреЛрдЧ рдХреЗ рд▓рд┐рдП рд╕реНрдкрд╖реНрдЯ рд╕рд╣рдорддрд┐ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВред
  2. рд╡рд┐рднрд┐рдиреНрди рд╡рдХреНрддрд╛рдУрдВ рдФрд░ рдкреГрд╖реНрдарднреВрдорд┐ рд╕реНрдерд┐рддрд┐рдпреЛрдВ рдореЗрдВ рдЧреБрдгрд╡рддреНрддрд╛ рдХрд╛ рдкрд░реАрдХреНрд╖рдг рдХрд░реЗрдВред
  3. рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░реЗрдВ рдХрд┐ рдХрд┐рд╕реА рдЗрдВрд╕рд╛рди рдХреЛ рдЖрдЙрдЯрдкреБрдЯ рдХреА рд╕рдореАрдХреНрд╖рд╛ рдпрд╛ рдЕрдиреБрдореЛрджрди рдХрдм рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдПред
  4. рдЬрд╡рд╛рдмрджреЗрд╣реА рдХреЗ рд▓рд┐рдП рд╕рд┐рдВрдереЗрдЯрд┐рдХ рдСрдбрд┐рдпреЛ рдХреЛ рд▓реЗрдмрд▓ рдХрд░реЗрдВ рдФрд░ рдЙрджреНрдЧрдо рд░рд┐рдХреЙрд░реНрдб рд░рдЦреЗрдВред

рдЕрдиреНрд╡реЗрд╖рдг рдХрд░рддреЗ рд░рд╣реЗрдВ

рдореБрдлрд╝реНрдд рдиреНрдпреВрдЬрд╝рд▓реЗрдЯрд░

рджреИрдирд┐рдХ рдПрдЖрдИ рдмреНрд░реАрдлрд┐рдВрдЧ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВ

рд╣рд░ рдХрд╛рд░реНрдпрджрд┐рд╡рд╕ рдХреА рд╕реБрдмрд╣ рддреАрди рд╕рддреНрдпрд╛рдкрд┐рдд рдПрдЖрдИ рдХрд╣рд╛рдирд┐рдпрд╛рдБ, рд╕рд╛рджреЗ рдЕрдВрдЧреНрд░реЗрдЬреА рдореЗрдВ рд▓рд┐рдЦреА рдЧрдИрдВред рд╣рдореЗрд╢рд╛ рдХреЗ рд▓рд┐рдП рдореБрдлрд╝реНрдд, рдХреЛрдИ рд╡рд┐рдЬреНрдЮрд╛рдкрди рдирд╣реАрдВред

рдкреНрд░рддреНрдпреЗрдХ рд╕рдкреНрддрд╛рд╣ рдХреЗ рджрд┐рди рдПрдХ рдИрдореЗрд▓. рдПрдХ рдХреНрд▓рд┐рдХ рдореЗрдВ рд╕рджрд╕реНрдпрддрд╛ рд╕рдорд╛рдкреНрдд рдХрд░реЗрдВ. рд╣рдо рдЖрдкрдХрд╛ рдкрддрд╛ рдХрднреА рдирд╣реАрдВ рдмреЗрдЪрддреЗ рдпрд╛ рд╕рд╛рдЭрд╛ рдирд╣реАрдВ рдХрд░рддреЗред

рд╕реНрд╡рдпрдВ рдХреА рдЬрд╛рдВрдЪ рдХрд░реЛ

Take the VALL-E and Codec Language Models quiz

рдкреНрд░рддреНрдпреЗрдХ рдЙрддреНрддрд░ рдкрд░ рддреНрд╡рд░рд┐рдд рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛, рдФрд░ рдкрд╛рдареНрдпрдХреНрд░рдо рдкрд╛рд╕ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж рдПрдХ рд╕рддреНрдпрд╛рдкрди рдпреЛрдЧреНрдп рдЖрдИрдбреА рдХреЗ рд╕рд╛рде рдПрдХ рд╕рд╛рдЭрд╛ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рдкреНрд░рдорд╛рдгрдкрддреНрд░ред

рдкреНрд░рд╢реНрдиреЛрддреНрддрд░реА рдкреНрд░рд╛рд░рдВрдн рдХрд░реЗрдВ

рдирд┐рдГрд╢реБрд▓реНрдХ рдПрдЖрдИ рд╢рд┐рдХреНрд╖рд╛ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░реЗрдВред AI Understanding рдПрдХ 501(c)(3) рдЧреИрд░-рд▓рд╛рднрдХрд╛рд░реА рд╕рдВрд╕реНрдерд╛ рд╣реИ - рдХреЛрдИ рд╡рд┐рдЬреНрдЮрд╛рдкрди рдирд╣реАрдВ, рдХреЛрдИ рдкреЗрд╡реЙрд▓ рдирд╣реАрдВред рджрд╛рди рдХрд░реЗрдВ

рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдкреНрд░рд╢реНрдиреЛрдВ

What is VALL-E and Codec Language Models?

VALL-E is a zero-shot text-to-speech research system that predicts EnCodec audio tokens from phoneme text and a short acoustic prompt. Its claims are limited to the model and evaluations described in the original paper.

рдХреМрди рд╕рд╛ рдореВрд▓ рд╡рд┐рдЪрд╛рд░ VALL-E рдХреЛ рдкрд╣рд▓реЗ рдХреЗ рдЯреЗрдХреНрд╕реНрдЯ-рдЯреВ-рд╕реНрдкреАрдЪ рд╕рд┐рд╕реНрдЯрдо рд╕реЗ рдЕрд▓рдЧ рдХрд░рддрд╛ рд╣реИ?

VALL-E рдиреЗ рдЕрд▓рдЧ-рдЕрд▓рдЧ рдСрдбрд┐рдпреЛ рдХреЛрдбреЗрдХ рдЯреЛрдХрди рдкрд░ рдЯреАрдЯреАрдПрд╕ рдХреЛ рдЕрдЧрд▓реА-рдЯреЛрдХрди рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХреЗ рд░реВрдк рдореЗрдВ рдлрд┐рд░ рд╕реЗ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд┐рдпрд╛, рднрд╛рд╖рдг рдкреАрдврд╝реА рдХреЛ рдПрдХ рднрд╛рд╖рд╛ рдореЙрдбрд▓ рдХреА рддрд░рд╣ рдорд╛рдирд╛ред

рдирдП рд╕реНрдкреАрдХрд░ рдХреА рдЖрд╡рд╛рдЬ рдХреЛ рдХреНрд▓реЛрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП VALL-E рдХреЛ рдХрд┐рддрдиреЗ рд╕рдВрджрд░реНрдн рдСрдбрд┐рдпреЛ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ?

VALL-E рдПрдХ рдЕрдирджреЗрдЦреЗ рд╕реНрдкреАрдХрд░ рдХреЗ рд▓рдЧрднрдЧ 3-рд╕реЗрдХрдВрдб рдХреЗ рдирдореВрдиреЗ рд╕реЗ рд╢реВрдиреНрдп-рд╢реЙрдЯ рд╡реЙрдпрд╕ рдХреНрд▓реЛрдирд┐рдВрдЧ рдХрд░ рд╕рдХрддрд╛ рд╣реИред

VALL-E рдЕрдкрдиреЗ рдСрдбрд┐рдпреЛ рдЯреЛрдХрди рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рд╕ рдиреНрдпреВрд░рд▓ рдХреЛрдбреЗрдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИ?

VALL-E Meta рдХреЗ EnCodec рдкрд░ рдирд┐рд░реНрдорд╛рдг рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рднрд╛рд╖рдг рдХреЛ рд╕рдВрд╢реНрд▓реЗрд╖рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЕрдкрдиреЗ рдЕрд╕рддрдд рдзреНрд╡рдирд┐рдХ рдЯреЛрдХрди рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░рддрд╛ рд╣реИред

VALL-E рдСрдЯреЛрд░реЗрдЧреНрд░реЗрд╕рд┐рд╡ рдФрд░ рдиреЙрди-рдСрдЯреЛрд░реЗрдЧреНрд░реЗрд╕рд┐рд╡ рджреЛрдиреЛрдВ рдЪрд░рдгреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреНрдпреЛрдВ рдХрд░рддрд╛ рд╣реИ?

рдХреЛрдбреЗрдХ рдЯреЛрдХрди рдЖрд░рд╡реАрдХреНрдпреВ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдкрджрд╛рдиреБрдХреНрд░рдорд┐рдд рд╣реИрдВ; VALL-E рджрдХреНрд╖рддрд╛ рдХреЗ рд▓рд┐рдП рдкрд╣рд▓реА рдореЛрдЯреЗ рд╕реНрдЯреНрд░реАрдо рдХреЛ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд░реВрдк рд╕реЗ рдФрд░ рд╢реЗрд╖ рд╡рд┐рд╡рд░рдг рдЯреЛрдХрди рдХреЛ рд╕рдорд╛рдирд╛рдВрддрд░ рдореЗрдВ рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░рддрд╛ рд╣реИред

рдордЬрдмреВрдд рд╢реВрдиреНрдп-рд╢реЙрдЯ рдХреНрд▓реЛрдирд┐рдВрдЧ рдХреЛ рд╕рдХреНрд╖рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП VALL-E рдХреЛ рдореЛрдЯреЗ рддреМрд░ рдкрд░ рдХрд┐рддрдиреЗ рднрд╛рд╖рдг рдбреЗрдЯрд╛ рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛?

VALL-E рдХреЛ рд▓рдЧрднрдЧ 60,000 рдШрдВрдЯреЛрдВ рдХреЗ рднрд╛рд╖рдг рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛, рдЬреЛ рд╕рд╛рдорд╛рдиреНрдп рдЯреАрдЯреАрдПрд╕ рдбреЗрдЯрд╛рд╕реЗрдЯ рд╕реЗ рдХрд╣реАрдВ рдЕрдзрд┐рдХ рдерд╛, рдЬрд┐рд╕рдиреЗ рдЗрд╕рдХреЗ рд╢реВрдиреНрдп-рд╢реЙрдЯ рд╕рд╛рдорд╛рдиреНрдпреАрдХрд░рдг рдХреЛ рдмрдврд╝рд╛рд╡рд╛ рджрд┐рдпрд╛ред

рд╕реАрдЦрддреЗ рд░рд╣реЛ

рд╕рдВрдмрдВрдзрд┐рдд рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛рдПрдБ

рдЗрд╕ рд╡рд┐рд╖рдп рдХреЗ рд▓рд┐рдП рдЕрдзрд┐рдХ рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛рдПрдБ рдЪреБрдиреА рдЧрдИрдВ

рдЖрдЧреЗрдЕрдЧрд▓реА рдЧрд╛рдЗрдб

ASR рдореЗрдВ рднрд╛рд╖рд╛ рдореЙрдбрд▓реЛрдВ рдХреЗ рд╕рд╛рде рд╢реИрд▓реЛ рдлреНрдпреВрдЬрди

рдСрдбрд┐рдпреЛ рдПрдЖрдИ

рдирд┐рдГрд╢реБрд▓реНрдХ AI рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВрдПрдХ рд╕рдВрдХреНрд╖рд┐рдкреНрдд рдирд┐рдГрд╢реБрд▓реНрдХ рдкрд╛рдареНрдпрдХреНрд░рдо рдФрд░ рдкрд░реАрдХреНрд╖рд╛ред рдХреЛрдИ рдХреАрдордд рдирд╣реАрдВ, рдХреЛрдИ рдХрд╛рд░реНрдб рдирд╣реАрдВ. рд▓рдЧрднрдЧ 2.5 рдШрдВрдЯреЗ.рдирд┐рдГрд╢реБрд▓реНрдХ рдкреНрд░рд╛рд░рдВрдн рдХрд░реЗрдВ тЖТ