Kvíz spojený s průvodcem · Střední úroveň

Kvíz o modelech na úrovni bajtů bez tokenizéru

Rozumějte jazykovým modelům nezpracovaných bajtů, záplatám BLT založeným na entropii a kompromisům v efektivitě a pokrytí při odstraňování pevných slovníků tokenů.

Související vodicí cestyTokenizer Free Byte Level Modely
Otázka 1 z 8

Co čte model na úrovni bajtů bez tokenizeru jako své vstupní jednotky?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co čte model na úrovni bajtů bez tokenizeru jako své vstupní jednotky?
    • Nezpracované bajty (hodnoty UTF-8 0–255)
    • Slovní podslova z pevného slovníku
    • Celá slova oddělená mezerami
    • Pouze předem vypočítaná vložení
  2. Jaká je hlavní praktická nevýhoda přivádění nezpracovaných bajtů do standardního transformátoru?
    • Bajty nemohou představovat neanglický text
    • Sekvence jsou mnohem delší, což zvyšuje výpočetní náklady
    • Existuje příliš mnoho možných hodnot bajtů pro vložení
    • Bajty trvale ztratí veškerý význam slova
  3. Jak se Byte Latent Transformer (BLT) rozhodne, kde seskupit bajty do záplat?
    • Rozdělením na každý znak mezery
    • Použití fixní velikosti patche 4 bajty
    • Na základě entropie predikce na úrovni bajtů (nejistota)
    • Náhodně při každém průchodu vpřed
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Který dřívější model demonstroval zpracování na úrovni bajtů, ale byl kritizován za to, že je pomalý?
    • BERT
    • ByT5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Obrazové pixely
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder