VolgendeVolgende gids
Video-naar-audiogeneratie en AI Foley
Audio-AI
Audio AI-GIDS
SoundStorm is een onderzoeksmodel dat neurale audiocodec-tokens genereert met op vertrouwen gebaseerde parallelle decodering.
Luister naar deze gidsAI-verteld · ~3 min
De gerapporteerde snelheids- en consistentieresultaten zijn van toepassing op de bestudeerde hardware, conditionering en vergelijkingen, in plaats van op elke audiotoepassing.
SoundStorm ontvangt een conditioneringsreeks en voorspelt akoestische tokens die een neurale codec kan decoderen in audio. Het artikel presenteert het als een akoestische generator binnen een AudioLM-achtige hiërarchie, die de grove en fijne autoregressieve akoestische fasen vervangt. Semantische tokens bieden conditionering op hoog niveau, terwijl SoundStream-tokens codec-informatie over de golfvorm vertegenwoordigen. Dit verschilt van het direct produceren van een teksttranscript of het achtereenvolgens genereren van elk onbewerkt golfvormmonster. Het model maakt gebruik van bidirectionele aandacht en op vertrouwen gebaseerde parallelle decodering, geïnspireerd door gemaskeerde generatieve methoden. Het bemonstert kandidaten voor gemaskeerde posities, behoudt geselecteerde, zelfverzekerde voorspellingen volgens het schema en bezoekt oningevulde posities opnieuw in volgende iteraties. Parallelle voorspelling tussen posities is compatibel met iteratieve verfijning; het betekent niet dat elk niveau in één onvoorwaardelijke stap wordt opgelost. Residuele vectorkwantisering zorgt voor een hiërarchie. Grove niveaus brengen informatie tot stand die fijnere niveaus verfijnen, waarbij elke kwantiseerder een residu vertegenwoordigt dat is achtergelaten door eerdere kwantiseerders. De aangegeven decodeerprocedure gaat van grof naar fijn en gaat over naar een volgend niveau nadat eerdere niveaus zijn bemonsterd. Een korte akoestische prompt kan steminformatie van de spreker behouden, terwijl semantische conditionering een andere controle over de inhoud biedt. Voor dialoog combineert de gerapporteerde demonstratie transcripties van de spreker en gesproken aanwijzingen van de spreker via het omringende systeem. Het abstracte rapport genereert dertig seconden audio in een halve seconde op een TPU-v4. Dat resultaat identificeert een geteste opstelling en mag geen belofte worden van identieke latentie op elke processor, productieassistent of langere opname.
Inspectie van gemaskeerde akoestische tokens verfijnd door parallelle decodering.
Semantische conditionering vergelijken met een akoestische stemprompt.
Tracering van de generatie van grove naar fijnere restkwantiseringsniveaus.
Het rapporteren van het timingresultaat van het papier samen met de geteste TPU-hardware.
Parallelle audio-experimenten kunnen tokenhiërarchieën, conditioneringssignalen, verfijningsschema's en end-to-end latentie op aangegeven hardware vergelijken. Langere dialogen of interactief gebruik vereisen het evalueren van stemconsistentie, inhoud, overgangen en artefacten in plaats van alleen te vertrouwen op een korte timing. Een sterker semantisch model of een andere codec kan de pijplijn veranderen en moet afzonderlijk worden geïdentificeerd. Onderzoek kan ook op tokens gebaseerde en continue representaties vergelijken onder gematchte taken. Dergelijke evaluaties helpen bij het beoordelen van een beoogde opstelling voor het genereren van audio zonder een gepubliceerde versnelling te behandelen als bewijs van implementatie of overal uniforme prestaties.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
SoundStorm is een onderzoeksmodel dat neurale audiocodec-tokens genereert met op vertrouwen gebaseerde parallelle decodering. De gerapporteerde snelheids- en consistentieresultaten zijn van toepassing op de bestudeerde hardware, conditionering en vergelijkingen, in plaats van op elke audiotoepassing.
De bestudeerde methode vervangt de opeenvolgende generatie van akoestische tokens door een parallelle verfijningsprocedure.
Het artikel identificeert bidirectionele aandacht, los van de op vertrouwen gebaseerde regel voor kandidaatselectie.
SoundStorm voorspelt discrete akoestische tokens geproduceerd door de SoundStream-codec, die later worden gedecodeerd in een golfvorm.
De aangegeven hardware en clipduur maken deel uit van het resultaat.
Op vertrouwen gebaseerde selectie zorgt voor verfijning; het is geen garantie voor foutloze resultaten.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Video-naar-audiogeneratie en AI Foley
Audio-AI