Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Tokenizálás és bájtpár kódolási kvíz

Tests token IDs, frequency-based BPE merges, byte-level coverage, merge order, and why token counts differ from word counts.

Kapcsolódó útmutató utakTokenizálás és bájtpár kódolás
kérdés 1 -ból 8

Mit produkál a tokenizáció a nyelvi modell olvasásához?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit produkál a tokenizáció a nyelvi modell olvasásához?
    • Tokenek, amelyek egész szám azonosítók, amelyek szövegrészekre vannak leképezve
    • Nyers hanghullámformák
    • Pixel rácsok
    • Összeállított gépi kód
  2. Hogyan építi fel a bájtpáros kódolás a szókincsét?
    • Egy szótárban minden szóhoz egy jelzőt rendelve
    • A leggyakoribb szomszédos szimbólumpárok ismételt összevonásával
    • A karakterek véletlenszerű csoportosításával
    • Ha először lefordítja a szöveget egy másik nyelvre
  3. Milyen problémát oldanak meg az olyan részszó módszerek, mint a BPE, a szószintű tokenizáláshoz képest?
    • Minden mondatot pontosan egy jelzővé tesznek
    • Megszüntetik a szókincs szükségességét
    • A ritka vagy nem látott szavakat újrafelhasználható töredékekre osztva kezelik
    • Csak angolul dolgoznak
  4. Mi az előnye a bájtszintű BPE-nek, ahogyan azt a GPT modellekben használják?
    • Minden nyelven kevesebb tokent használ, mint bármely más módszer
    • Megszünteti a modell betanításának szükségességét
    • Csak angol betűket kódol
    • Bármilyen Unicode-szöveget képviselhet, beleértve a hangulatjeleket és bármilyen nyelvet, szókincshibák nélkül
  5. Miért tér el gyakran egy modell jelzőszáma a mondatban lévő szavak számától?
    • A szóközök, a nagybetűk és a ritka szavak megváltoztatják a szöveg felosztását, és egy szó több jelzővé is válhat
    • A tokeneket véletlenszerű nyelven számolják
    • Minden szó mindig pontosan két token
    • A tokenek száma csak az írásjelektől függ
  6. Melyik mezőből kölcsönözték eredetileg a Byte Pair Encoding algoritmust?
    • Képmegjelenítés
    • Adattömörítés
    • Adatbázis indexelés
    • Kriptográfia
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet