Wat is Speculatieve decodering?

Prijzen waarbij de kosten worden geschaald met API-aanroepen, tokens, inferentietijd of verbruikte rekenkracht.

Een aandachtspatroon waarbij elk token alleen betrekking heeft op een venster met een vaste grootte van nabijgelegen tokens om de rekenkracht te verminderen.

De runtimefase waarin een getraind model voorspellingen of uitvoer genereert.

Een methode die externe kennis ophaalt en deze op het moment van inferentie in de generatie invoert.

Een decoderingsstrategie die alleen monsters neemt van de k meest waarschijnlijke volgende tokens.

Een kleiner model dat is getraind om het gedrag van een groter model te imiteren en tegelijkertijd minder rekenkracht te gebruiken bij gevolgtrekking.