VolgendeVolgende gids
Voorspellingstraining met meerdere tokens
Taal AI
Technische GIDS
Speculatieve streaming en voorspelling van meerdere tokens versnellen het genereren van taalmodellen door meerdere toekomstige tokens tegelijk te raden en deze in één keer te verifiëren, in plaats van één token tegelijk te produceren.
Luister naar deze gidsAI-verteld · ~2 min
Ze verminderden de latentie zonder de tekst te veranderen die het model zou hebben geschreven.
Normale autoregressieve decodering is traag omdat elk token een volledige voorwaartse doorgang vereist en tokens strikt na elkaar worden gegenereerd, waardoor de GPU onderbenut blijft. Speculatieve decodering lost dit op met een goedkope opsteller die een aantal kandidaat-tokens voorstelt, die het grote doelmodel vervolgens parallel verifieert; elk voorvoegsel dat overeenkomt met wat het doelwit zou hebben geproduceerd, wordt gratis geaccepteerd en de eerste mismatch wordt gecorrigeerd. Speculatieve streaming en multi-token-voorspellingen in Medusa-stijl vouwen de opsteller in het model zelf: extra lichtgewicht voorspellingskoppen (of een stroom speculatieve tokens) laten één model zowel opstellen als verifiëren, waardoor een afzonderlijk conceptmodel wordt vermeden. Omdat de verificatie exact is, is de uitvoerverdeling identiek aan standaarddecodering, je krijgt simpelweg 2 tot 3 keer minder opeenvolgende stappen.
De responslatentie van een chatassistent wordt 2 tot 3x verlaagd met behulp van extra voorspellingskoppen in Medusa-stijl
Het toevoegen van zelfspeculatieve decodering aan een inferentieserver, zodat er geen afzonderlijk conceptmodel hoeft te worden gehost
Het versnellen van de voltooiing van de code, waarbij lange, voorspelbare tokenruns in grote delen worden geaccepteerd
Verlaag de GPU-kosten per aanvraag door meer tokens te extraheren uit elke geheugengebonden forward pass
Zelfspeculatieve methoden die geen afzonderlijk conceptmodel nodig hebben, worden de standaard in inferentie-engines, en onderzoek verhoogt de acceptatiegraad met betere conceptkoppen, boomgestructureerde kandidaten en het gezamenlijk trainen van het basismodel voor multi-token-voorspelling (wat ook de kwaliteit kan verbeteren). Verwacht dat deze technieken worden gecombineerd met kwantisering en batching, zodat interactieve assistenten zich direct voelen, zelfs als modellen groeien.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Speculatieve streaming en voorspelling van meerdere tokens versnellen het genereren van taalmodellen door meerdere toekomstige tokens tegelijk te raden en deze in één keer te verifiëren, in plaats van één token tegelijk te produceren. Ze verminderden de latentie zonder de tekst te veranderen die het model zou hebben geschreven.
Elk token heeft zijn eigen voorwaartse doorgang nodig en ze zijn strikt sequentieel, dus de GPU is gebonden aan geheugenbandbreedte en wordt onderbenut tijdens het decoderen.
Een goedkope tekenaar stelt een aantal kandidaat-tokens voor die het grote doelmodel vervolgens parallel verifieert.
Verificatie (greedy matching of afwijzingssteekproeven) zorgt ervoor dat geaccepteerde tokens de exacte distributie volgen die het doelmodel zou hebben geproduceerd, zodat de output ongewijzigd blijft.
Bij methoden in Medusa-stijl wordt het opstellen in het model geïntegreerd met extra voorspellingskoppen, waardoor de noodzaak wordt vermeden om een afzonderlijk conceptmodel te hosten.
Tijdens het decoderen is het knelpunt het verplaatsen van gewichten uit het geheugen, dus het scoren van extra posities in dezelfde passage brengt weinig rekenkosten met zich mee.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Voorspellingstraining met meerdere tokens
Taal AI