Wat is BPE (Byte-paarcodering)?

Het proces waarbij tekst in tokens wordt gesplitst voor modelinvoer.

Technologie die tekst in afbeeldingen of scans omzet in machinaal leesbare tekst.

Een decoderingsstrategie die alleen monsters neemt van de k meest waarschijnlijke volgende tokens.

Het kerntrainingsalgoritme dat modelgewichten bijwerkt door voorspellingsfouten achterwaarts door het netwerk te verspreiden.

Een model dat query's en documenten codeert in afzonderlijke vectoren, zodat ze snel op schaal kunnen worden vergeleken.

Een decoderingsalgoritme dat bij elke stap de bovenste verschillende kandidaatreeksen bewaart om uitvoer met een grotere waarschijnlijkheid te vinden.