Kvíz spojený s průvodcem · Střední úroveň

Kvíz o tokenizaci a kódování párů bajtů

Testuje ID tokenů, sloučení BPE na základě frekvence, pokrytí na úrovni bajtů, pořadí sloučení a proč se počty tokenů liší od počtu slov.

Související vodicí cestyTokenizace a kódování párů bajtů
Otázka 1 z 8

Co vytváří tokenizace pro čtení jazykového modelu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co vytváří tokenizace pro čtení jazykového modelu?
    • Tokeny, což jsou celočíselná ID mapovaná na části textu
    • Surové zvukové křivky
    • Pixelové mřížky
    • Kompilovaný strojový kód
  2. Jak Byte Pair Encoding buduje svůj slovník?
    • Přiřazením jednoho tokenu na celé slovo ve slovníku
    • Opakovaným slučováním nejčastější sousední dvojice symbolů
    • Náhodným seskupením znaků
    • Nejprve přeložte text do jiného jazyka
  3. Jaký problém řeší metody podslov jako BPE ve srovnání s tokenizací na úrovni slov?
    • Udělají z každé věty přesně jeden žeton
    • Eliminují potřebu jakékoli slovní zásoby
    • Zvládají vzácná nebo neviditelná slova tak, že je rozdělují na opakovaně použitelné fragmenty
    • Fungují pouze pro angličtinu
  4. Jaká je výhoda BPE na úrovni bajtů, jak se používá v modelech GPT?
    • Používá méně tokenů než jakákoli jiná metoda pro všechny jazyky
    • Odstraňuje potřebu trénovat model
    • Kóduje pouze anglická písmena
    • Může reprezentovat jakýkoli text Unicode, včetně emotikonů a jakéhokoli jazyka, bez chyb mimo slovní zásobu
  5. Proč se počet tokenů modelu často liší od počtu slov ve větě?
    • Mezery, velká písmena a vzácná slova mění způsob rozdělení textu a z jednoho slova se může stát několik tokenů
    • Tokeny se počítají v náhodném jazyce
    • Každé slovo jsou vždy přesně dva žetony
    • Počet tokenů závisí pouze na interpunkci
  6. Z jakého pole byl původně převzat algoritmus kódování bytových párů?
    • Vykreslování obrazu
    • Komprese dat
    • Indexování databáze
    • Kryptografie
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet