Gids-gekoppelde quiz · Middelmatig Niveau

Tokenisatie en bytepaarcoderingsquiz

Test token-ID's, frequentiegebaseerde BPE-samenvoegingen, dekking op byteniveau, samenvoegvolgorde en waarom aantippingen van tokens verschillen van woordtellingen.

Gerelateerde gidspadenTokenisatie en bytepaarcodering
Vraag 1 van 8

Wat levert tokenisatie op voor het lezen van een taalmodel?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat levert tokenisatie op voor het lezen van een taalmodel?
    • Tokens, dit zijn integer-ID's die zijn toegewezen aan stukjes tekst
    • Ruwe audiogolfvormen
    • Pixelrasters
    • Gecompileerde machinecode
  2. Hoe bouwt Byte Pair Encoding zijn vocabulaire op?
    • Door één token per heel woord in een woordenboek toe te wijzen
    • Door herhaaldelijk het meest voorkomende aangrenzende paar symbolen samen te voegen
    • Door karakters willekeurig te groeperen
    • Door tekst eerst in een andere taal te vertalen
  3. Welk probleem lossen subwoordmethoden zoals BPE op in vergelijking met tokenisatie op woordniveau?
    • Ze maken van elke zin precies één token
    • Ze elimineren de behoefte aan woordenschat
    • Ze verwerken zeldzame of onzichtbare woorden door ze in herbruikbare fragmenten te splitsen
    • Ze werken alleen voor Engels
  4. Wat is het voordeel van BPE op byteniveau, zoals gebruikt in GPT-modellen?
    • Er worden voor alle talen minder tokens gebruikt dan welke andere methode dan ook
    • Het elimineert de noodzaak om het model te trainen
    • Het codeert alleen Engelse letters
    • Het kan elke Unicode-tekst weergeven, inclusief emoji en elke taal, zonder fouten in de woordenschat
  5. Waarom verschilt het tokenaantal van een model vaak van het aantal woorden in een zin?
    • Spaties, hoofdletters en zeldzame woorden veranderen de manier waarop tekst wordt gesplitst, en één woord kan meerdere tokens worden
    • Tokens worden in een willekeurige taal geteld
    • Elk woord bestaat altijd uit precies twee tokens
    • Het aantal tokens is alleen afhankelijk van de interpunctie
  6. Van welk veld is het Byte Pair Encoding-algoritme oorspronkelijk geleend?
    • Beeldweergave
    • Gegevenscompressie
    • Database-indexering
    • Cryptografie
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet