Kvíz spojený s průvodcem · Střední úroveň
Kvíz o tokenizaci a kódování párů bajtů
Testuje ID tokenů, sloučení BPE na základě frekvence, pokrytí na úrovni bajtů, pořadí sloučení a proč se počty tokenů liší od počtu slov.
Otázka 1 z 8
Co vytváří tokenizace pro čtení jazykového modelu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co vytváří tokenizace pro čtení jazykového modelu?
- Tokeny, což jsou celočíselná ID mapovaná na části textu
- Surové zvukové křivky
- Pixelové mřížky
- Kompilovaný strojový kód
- Jak Byte Pair Encoding buduje svůj slovník?
- Přiřazením jednoho tokenu na celé slovo ve slovníku
- Opakovaným slučováním nejčastější sousední dvojice symbolů
- Náhodným seskupením znaků
- Nejprve přeložte text do jiného jazyka
- Jaký problém řeší metody podslov jako BPE ve srovnání s tokenizací na úrovni slov?
- Udělají z každé věty přesně jeden žeton
- Eliminují potřebu jakékoli slovní zásoby
- Zvládají vzácná nebo neviditelná slova tak, že je rozdělují na opakovaně použitelné fragmenty
- Fungují pouze pro angličtinu
- Jaká je výhoda BPE na úrovni bajtů, jak se používá v modelech GPT?
- Používá méně tokenů než jakákoli jiná metoda pro všechny jazyky
- Odstraňuje potřebu trénovat model
- Kóduje pouze anglická písmena
- Může reprezentovat jakýkoli text Unicode, včetně emotikonů a jakéhokoli jazyka, bez chyb mimo slovní zásobu
- Proč se počet tokenů modelu často liší od počtu slov ve větě?
- Mezery, velká písmena a vzácná slova mění způsob rozdělení textu a z jednoho slova se může stát několik tokenů
- Tokeny se počítají v náhodném jazyce
- Každé slovo jsou vždy přesně dva žetony
- Počet tokenů závisí pouze na interpunkci
- Z jakého pole byl původně převzat algoritmus kódování bytových párů?
- Vykreslování obrazu
- Komprese dat
- Indexování databáze
- Kryptografie
- After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
- A new merge ranking learned separately for each sentence
- A dictionary of whole words only
- The learned vocabulary and ordered merge rules applied to the input symbols
- A translation table that changes the text language
- Why can byte-level BPE encode a character it never saw as a whole token during training?
- The tokenizer invents new model parameters for each character
- It drops every unseen character
- The model automatically translates it to English first
- The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet