Gids-gekoppelde quiz · Middelmatig Niveau
Tokenisatie en bytepaarcoderingsquiz
Test token-ID's, frequentiegebaseerde BPE-samenvoegingen, dekking op byteniveau, samenvoegvolgorde en waarom aantippingen van tokens verschillen van woordtellingen.
Vraag 1 van 8
Wat levert tokenisatie op voor het lezen van een taalmodel?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat levert tokenisatie op voor het lezen van een taalmodel?
- Tokens, dit zijn integer-ID's die zijn toegewezen aan stukjes tekst
- Ruwe audiogolfvormen
- Pixelrasters
- Gecompileerde machinecode
- Hoe bouwt Byte Pair Encoding zijn vocabulaire op?
- Door één token per heel woord in een woordenboek toe te wijzen
- Door herhaaldelijk het meest voorkomende aangrenzende paar symbolen samen te voegen
- Door karakters willekeurig te groeperen
- Door tekst eerst in een andere taal te vertalen
- Welk probleem lossen subwoordmethoden zoals BPE op in vergelijking met tokenisatie op woordniveau?
- Ze maken van elke zin precies één token
- Ze elimineren de behoefte aan woordenschat
- Ze verwerken zeldzame of onzichtbare woorden door ze in herbruikbare fragmenten te splitsen
- Ze werken alleen voor Engels
- Wat is het voordeel van BPE op byteniveau, zoals gebruikt in GPT-modellen?
- Er worden voor alle talen minder tokens gebruikt dan welke andere methode dan ook
- Het elimineert de noodzaak om het model te trainen
- Het codeert alleen Engelse letters
- Het kan elke Unicode-tekst weergeven, inclusief emoji en elke taal, zonder fouten in de woordenschat
- Waarom verschilt het tokenaantal van een model vaak van het aantal woorden in een zin?
- Spaties, hoofdletters en zeldzame woorden veranderen de manier waarop tekst wordt gesplitst, en één woord kan meerdere tokens worden
- Tokens worden in een willekeurige taal geteld
- Elk woord bestaat altijd uit precies twee tokens
- Het aantal tokens is alleen afhankelijk van de interpunctie
- Van welk veld is het Byte Pair Encoding-algoritme oorspronkelijk geleend?
- Beeldweergave
- Gegevenscompressie
- Database-indexering
- Cryptografie
- After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
- A new merge ranking learned separately for each sentence
- A dictionary of whole words only
- The learned vocabulary and ordered merge rules applied to the input symbols
- A translation table that changes the text language
- Why can byte-level BPE encode a character it never saw as a whole token during training?
- The tokenizer invents new model parameters for each character
- It drops every unseen character
- The model automatically translates it to English first
- The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet