Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Tokenizálás és bájtpár kódolási kvíz
Tests token IDs, frequency-based BPE merges, byte-level coverage, merge order, and why token counts differ from word counts.
kérdés 1 -ból 8
Mit produkál a tokenizáció a nyelvi modell olvasásához?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit produkál a tokenizáció a nyelvi modell olvasásához?
- Tokenek, amelyek egész szám azonosítók, amelyek szövegrészekre vannak leképezve
- Nyers hanghullámformák
- Pixel rácsok
- Összeállított gépi kód
- Hogyan építi fel a bájtpáros kódolás a szókincsét?
- Egy szótárban minden szóhoz egy jelzőt rendelve
- A leggyakoribb szomszédos szimbólumpárok ismételt összevonásával
- A karakterek véletlenszerű csoportosításával
- Ha először lefordítja a szöveget egy másik nyelvre
- Milyen problémát oldanak meg az olyan részszó módszerek, mint a BPE, a szószintű tokenizáláshoz képest?
- Minden mondatot pontosan egy jelzővé tesznek
- Megszüntetik a szókincs szükségességét
- A ritka vagy nem látott szavakat újrafelhasználható töredékekre osztva kezelik
- Csak angolul dolgoznak
- Mi az előnye a bájtszintű BPE-nek, ahogyan azt a GPT modellekben használják?
- Minden nyelven kevesebb tokent használ, mint bármely más módszer
- Megszünteti a modell betanításának szükségességét
- Csak angol betűket kódol
- Bármilyen Unicode-szöveget képviselhet, beleértve a hangulatjeleket és bármilyen nyelvet, szókincshibák nélkül
- Miért tér el gyakran egy modell jelzőszáma a mondatban lévő szavak számától?
- A szóközök, a nagybetűk és a ritka szavak megváltoztatják a szöveg felosztását, és egy szó több jelzővé is válhat
- A tokeneket véletlenszerű nyelven számolják
- Minden szó mindig pontosan két token
- A tokenek száma csak az írásjelektől függ
- Melyik mezőből kölcsönözték eredetileg a Byte Pair Encoding algoritmust?
- Képmegjelenítés
- Adattömörítés
- Adatbázis indexelés
- Kriptográfia
- After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
- A new merge ranking learned separately for each sentence
- A dictionary of whole words only
- The learned vocabulary and ordered merge rules applied to the input symbols
- A translation table that changes the text language
- Why can byte-level BPE encode a character it never saw as a whole token during training?
- The tokenizer invents new model parameters for each character
- It drops every unseen character
- The model automatically translates it to English first
- The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet