Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący modeli na poziomie bajtów bez użycia tokenizerów

Zrozum modele językowe oparte na surowych bajtach, łatki oparte na entropii w BLT oraz kompromisy w zakresie wydajności i pokrycia wynikające z usunięcia stałych słowników tokenów.

Powiązane ścieżki prowadząceModele poziomu wolnego bajtu tokenizera
Pytanie 1 z 8

Co model na poziomie bajtów bez tokenizera odczytuje jako jednostki wejściowe?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co model na poziomie bajtów bez tokenizera odczytuje jako jednostki wejściowe?
    • Surowe bajty (wartości UTF-8 0-255)
    • Podsłowa słowne z ustalonego słownictwa
    • Całe słowa oddzielone spacjami
    • Tylko wstępnie obliczone osadzania
  2. Jaka jest główna praktyczna wada podawania surowych bajtów do standardowego transformatora?
    • Bajty nie mogą reprezentować tekstu w języku innym niż angielski
    • Sekwencje stają się znacznie dłuższe, co podnosi koszty obliczeń
    • Istnieje zbyt wiele możliwych wartości bajtów do osadzenia
    • Bajty tracą trwale całe znaczenie słów
  3. W jaki sposób Byte Latent Transformer (BLT) decyduje, gdzie grupować bajty w łaty?
    • Dzieląc na każdy znak spacji
    • Używanie stałego rozmiaru poprawki wynoszącego 4 bajty
    • Na podstawie entropii przewidywania na poziomie bajtów (niepewność)
    • Losowo podczas każdego podania do przodu
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Który wcześniejszy model zapewniał przetwarzanie na poziomie bajtów, ale był krytykowany za powolność?
    • BERT
    • ByT5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Piksele obrazu
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder