рдЖрдЧреЗрдЕрдЧрд▓реА рдЧрд╛рдЗрдб
рд╕реНрд░реЛрдд рдкреГрдердХреНрдХрд░рдг рдХреЗ рд▓рд┐рдП рд╕рдордп-рдЖрд╡реГрддреНрддрд┐ рдорд╛рд╕реНрдХрд┐рдВрдЧ
рддрдХрдиреАрдХреА
рдСрдбрд┐рдпреЛ рдПрдЖрдИ рдЧрд╛рдЗрдб
Conv-TasNet is a time-domain neural speech-separation model that learns an encoder and decoder around a mask-based separator.
рдЗрд╕ рдЧрд╛рдЗрдб рдХреЛ рд╕реБрдиреЗрдВрдПрдЖрдИ-рдиреИрд░реЗрдЯреЗрдб ┬╖ ~2 min
Its paper reports strong two- and three-speaker results, including comparisons to ideal magnitude masks on two-speaker separation benchmarks.
Conv-TasNet is a single-channel, speaker-independent speech-separation model. It uses a learned linear encoder to map waveform segments into a representation optimized for separating speakers. A temporal convolutional network (TCN) predicts masks over that representation, and a learned decoder reconstructs separated waveforms. The paper reports strong results on two- and three-speaker mixtures, including comparisons to ideal magnitude masks in two-speaker separation evaluations. These results are specific to the paperтАЩs tasks and metrics.
рд░рд┐рдХреЙрд░реНрдб рдХреА рдЧрдИ рдореАрдЯрд┐рдВрдЧ рдореЗрдВ рджреЛ рдУрд╡рд░рд▓реИрдкрд┐рдВрдЧ рд╕реНрдкреАрдХрд░ рдХреЛ рдЕрд▓рдЧ рдХрд░рдирд╛ рддрд╛рдХрд┐ рдкреНрд░рддреНрдпреЗрдХ рдХреЛ рд╕рд╛рдл-рд╕реБрдерд░реЗ рддрд░реАрдХреЗ рд╕реЗ рдЯреНрд░рд╛рдВрд╕рдХреНрд░рд┐рдкреНрдЯ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХреЗред
рдИрдпрд░рдмрдбреНрд╕ рдФрд░ рд╢реНрд░рд╡рдг рдпрдВрддреНрд░реЛрдВ рдореЗрдВ рднрд╛рд╖рдг рд╡реГрджреНрдзрд┐ рдЬреЛ рд▓рдХреНрд╖рд┐рдд рдмрд╛рдд рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рдХреЛ рдкреГрд╖реНрдарднреВрдорд┐ рдореЗрдВ рд╣реЛрдиреЗ рд╡рд╛рд▓реА рдмрд╛рддрдЪреАрдд рд╕реЗ рдЕрд▓рдЧ рдХрд░рддреА рд╣реИред
рд╢реЛрд░ рд╡рд╛рд▓реЗ рдХреЙрд▓-рд╕реЗрдВрдЯрд░ рдСрдбрд┐рдпреЛ рдХреЛ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд╡рд╛рдХреН рдкрд╣рдЪрд╛рди рдореЗрдВ рдлреАрдб рдХрд░рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рдкреНрд░реА-рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдХрд░реЗрдВред
рдкреЙрдбрдХрд╛рд╕реНрдЯ рдпрд╛ рдлрд╝рд┐рд▓реНрдо рдкреЛрд╕реНрдЯ-рдкреНрд░реЛрдбрдХреНрд╢рди рдореЗрдВ рдУрд╡рд░рд▓реИрдкрд┐рдВрдЧ рд╕рдВрд╡рд╛рдж рдХреЛ рд╕рд╛рдлрд╝ рдХрд░рдирд╛ред
Conv-TasNet рдиреЗ рдЯрд╛рдЗрдо-рдбреЛрдореЗрди рдореЙрдбрд▓ рдХреЗ рдПрдХ рдкреВрд░реЗ рдкрд░рд┐рд╡рд╛рд░ рдХреЛ рдЬрдиреНрдо рджрд┐рдпрд╛ред рдбреАрдкреАрдЖрд░рдПрдирдПрди, рд╕реЗрдкрдлреЙрд░реНрдорд░ рдФрд░ рдЯреАрдПрдл-рдЧреНрд░рд┐рдбрдиреЗрдЯ рдЬреИрд╕реЗ рдЙрддреНрддрд░рд╛рдзрд┐рдХрд╛рд░рд┐рдпреЛрдВ рдиреЗ рдкреГрдердХреНрдХрд░рдг рдЧреБрдгрд╡рддреНрддрд╛ рдХреЛ рдмрд╣реБрдд рдЕрдзрд┐рдХ рдмрдврд╝рд╛ рджрд┐рдпрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдХрдиреНрд╡-рдЯреИрд╕рдиреЗрдЯ рдПрдХ рдордЬрдмреВрдд, рд╣рд▓реНрдХрд╛ рдмреЗрд╕рд▓рд╛рдЗрди рдмрдирд╛ рд╣реБрдЖ рд╣реИ рдФрд░ рдЕрднреА рднреА рдбрд┐рд╡рд╛рдЗрд╕ рдкрд░ рддреИрдирд╛рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ рдЬрд╣рд╛рдВ рдЧрдгрдирд╛ рдХрдард┐рди рд╣реИред рдЙрдореНрдореАрдж рд╣реИ рдХрд┐ рдЗрд╕рдХрд╛ рдХреЙрдореНрдкреИрдХреНрдЯ рдЯреАрд╕реАрдПрди рдбрд┐рдЬрд╝рд╛рдЗрди рд╢реНрд░рд╡рдг рдпрдВрддреНрд░реЛрдВ, рдИрдпрд░рдмрдбреНрд╕ рдФрд░ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╕рдордп рдХреЙрдиреНрдлреНрд░реЗрдВрд╕рд┐рдВрдЧ рдореЗрдВ рдкреНрд░рджрд░реНрд╢рд┐рдд рд╣реЛрддрд╛ рд░рд╣реЗрдЧрд╛, рдЬрд┐рд╕реЗ рдЕрдХреНрд╕рд░ рдореЛрдмрд╛рдЗрд▓ рдЪрд┐рдкреНрд╕ рдкрд░ рдорд┐рд▓реАрд╕реЗрдХрдВрдб рдХреЗ рднреАрддрд░ рдЪрд▓рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрд╕реБрдд рдпрд╛ рдорд╛рддреНрд░рд╛рдмрджреНрдз рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдореБрдлрд╝реНрдд рдиреНрдпреВрдЬрд╝рд▓реЗрдЯрд░
рд╣рд░ рдХрд╛рд░реНрдпрджрд┐рд╡рд╕ рдХреА рд╕реБрдмрд╣ рддреАрди рд╕рддреНрдпрд╛рдкрд┐рдд рдПрдЖрдИ рдХрд╣рд╛рдирд┐рдпрд╛рдБ, рд╕рд╛рджреЗ рдЕрдВрдЧреНрд░реЗрдЬреА рдореЗрдВ рд▓рд┐рдЦреА рдЧрдИрдВред рд╣рдореЗрд╢рд╛ рдХреЗ рд▓рд┐рдП рдореБрдлрд╝реНрдд, рдХреЛрдИ рд╡рд┐рдЬреНрдЮрд╛рдкрди рдирд╣реАрдВред
рдкреНрд░рддреНрдпреЗрдХ рд╕рдкреНрддрд╛рд╣ рдХреЗ рджрд┐рди рдПрдХ рдИрдореЗрд▓. рдПрдХ рдХреНрд▓рд┐рдХ рдореЗрдВ рд╕рджрд╕реНрдпрддрд╛ рд╕рдорд╛рдкреНрдд рдХрд░реЗрдВ. рд╣рдо рдЖрдкрдХрд╛ рдкрддрд╛ рдХрднреА рдирд╣реАрдВ рдмреЗрдЪрддреЗ рдпрд╛ рд╕рд╛рдЭрд╛ рдирд╣реАрдВ рдХрд░рддреЗред
рд╕реНрд╡рдпрдВ рдХреА рдЬрд╛рдВрдЪ рдХрд░реЛ
рдкреНрд░рддреНрдпреЗрдХ рдЙрддреНрддрд░ рдкрд░ рддреНрд╡рд░рд┐рдд рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛, рдФрд░ рдкрд╛рдареНрдпрдХреНрд░рдо рдкрд╛рд╕ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж рдПрдХ рд╕рддреНрдпрд╛рдкрди рдпреЛрдЧреНрдп рдЖрдИрдбреА рдХреЗ рд╕рд╛рде рдПрдХ рд╕рд╛рдЭрд╛ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рдкреНрд░рдорд╛рдгрдкрддреНрд░ред
рдирд┐рдГрд╢реБрд▓реНрдХ рдПрдЖрдИ рд╢рд┐рдХреНрд╖рд╛ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░реЗрдВред AI Understanding рдПрдХ 501(c)(3) рдЧреИрд░-рд▓рд╛рднрдХрд╛рд░реА рд╕рдВрд╕реНрдерд╛ рд╣реИ - рдХреЛрдИ рд╡рд┐рдЬреНрдЮрд╛рдкрди рдирд╣реАрдВ, рдХреЛрдИ рдкреЗрд╡реЙрд▓ рдирд╣реАрдВред рджрд╛рди рдХрд░реЗрдВ
Conv-TasNet is a time-domain neural speech-separation model that learns an encoder and decoder around a mask-based separator. Its paper reports strong two- and three-speaker results, including comparisons to ideal magnitude masks on two-speaker separation benchmarks.
Conv-TasNet рдирд┐рд╢реНрдЪрд┐рдд STFT рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдХреЛ рдПрдХ рд╕реАрдЦреЗ рд╣реБрдП рдПрдирдХреЛрдбрд░/рдбрд┐рдХреЛрдбрд░ рд╕реЗ рдмрджрд▓ рджреЗрддрд╛ рд╣реИ рддрд╛рдХрд┐ рдпрд╣ рдХрдЪреНрдЪреЗ рддрд░рдВрдЧ рд░реВрдк рдкрд░ рд╕рдордп рдбреЛрдореЗрди рдореЗрдВ рдСрдбрд┐рдпреЛ рдХреЛ рдЕрд▓рдЧ рдХрд░ рд╕рдХреЗред
рд╡рд┐рднрд╛рдЬрдХ рдПрдХ рдЯреАрд╕реАрдПрди рд╣реИ рдЬреЛ рд╕реНрдЯреИрдХреНрдб рдлреИрд▓реЗ рд╣реБрдП 1рдбреА рдХрдирд╡рд▓реНрд╢рди рд╕реЗ рдирд┐рд░реНрдорд┐рдд рд╣реЛрддрд╛ рд╣реИ, рдЬреЛ рд╕рдорд╛рдирд╛рдВрддрд░ рд░рд╣рддреЗ рд╣реБрдП рдПрдХ рдмрдбрд╝рд╛ рдЧреНрд░рд╣рдгрд╢реАрд▓ рдХреНрд╖реЗрддреНрд░ рджреЗрддрд╛ рд╣реИред
рдПрдХ рдирд┐рд╢реНрдЪрд┐рдд рдПрд╕рдЯреАрдПрдлрдЯреА рдХреЗ рдмрдЬрд╛рдп, рдПрдХ рд╕реАрдЦрд╛ рд╣реБрдЖ 1рдбреА рдХрдиреНрд╡реЛрд▓реНрдпреВрд╢рди рддрд░рдВрдЧрд░реВрдк рдЦрдВрдбреЛрдВ рдХреЛ рдорд╛рд╕реНрдХрд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдЕрдиреБрдХреВрд▓рд┐рдд рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдореЗрдВ рдПрдиреНрдХреЛрдб рдХрд░рддрд╛ рд╣реИред
Conv-TasNet рдХреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рд╕реНрдкреАрдХрд░ рдХреЗ рдЕрдЬреНрдЮрд╛рдд рдХреНрд░рдо рдХреЛ рд╕рдВрднрд╛рд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдХреНрд░рдордкрд░рд┐рд╡рд░реНрддрди-рдЕрдкрд░рд┐рд╡рд░реНрддрдиреАрдп рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рд╕рд╛рде рд╕рдВрдпреБрдХреНрдд рдПрд╕рдЖрдИ-рдПрд╕рдПрдирдЖрд░ рд╣рд╛рдирд┐ рдХреЗ рд╕рд╛рде рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
The paper reports outperforming several ideal time-frequency magnitude masks for two-speaker separation using objective and subjective evaluation.
рд╕реАрдЦрддреЗ рд░рд╣реЛ
рдЗрд╕ рд╡рд┐рд╖рдп рдХреЗ рд▓рд┐рдП рдЕрдзрд┐рдХ рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛рдПрдБ рдЪреБрдиреА рдЧрдИрдВ
рдЖрдЧреЗрдЕрдЧрд▓реА рдЧрд╛рдЗрдб
рд╕реНрд░реЛрдд рдкреГрдердХреНрдХрд░рдг рдХреЗ рд▓рд┐рдП рд╕рдордп-рдЖрд╡реГрддреНрддрд┐ рдорд╛рд╕реНрдХрд┐рдВрдЧ
рддрдХрдиреАрдХреА