Rehber bağlantılı sınav · Orta Seviye

Tokenizersiz Bayt Düzeyinde Modeller Testi

Ham bayt dil modellerini, BLT'nin entropi tabanlı yamalarını ve sabit belirteç sözcük dağarcığını kaldırmanın verimlilik ve kapsam açısından getirdiği ödünleşimleri anlayın.

İlgili kılavuz yollarıTokenizer Ücretsiz Bayt Seviyesi Modelleri
Soru 1 arasında 8

Tokenizer içermeyen bayt düzeyindeki bir model, giriş birimleri olarak neyi okur?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Tokenizer içermeyen bayt düzeyindeki bir model, giriş birimleri olarak neyi okur?
    • Ham baytlar (UTF-8 değerleri 0-255)
    • Sabit bir kelime dağarcığından kelime parçalı alt kelimeler
    • Boşluklarla ayrılmış tam kelimeler
    • Yalnızca önceden hesaplanmış yerleştirmeler
  2. Ham baytları standart bir transformatöre beslemenin temel pratik dezavantajı nedir?
    • Baytlar İngilizce olmayan metni temsil edemez
    • Diziler çok daha uzun hale gelerek işlem maliyetini artırır
    • Yerleştirilecek çok fazla olası bayt değeri var
    • Baytlar tüm kelime anlamlarını kalıcı olarak kaybeder
  3. Bayt Gizli Transformatörü (BLT), baytların yamalar halinde nerede gruplanacağına nasıl karar verir?
    • Her boşluk karakterine bölünerek
    • 4 baytlık sabit bir yama boyutu kullanma
    • Bayt düzeyinde tahmin entropisine (belirsizlik) dayalı
    • Her ileri geçişte rastgele
  4. Sabit bir alt kelime sözlüğü neden bazı diller için diğerlerinden daha fazla belirteç kullanabilir?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. Sabit bir belirteçleyiciyi kaldırmak, bayt düzeyindeki girdiyle ilgili neyi garanti eder?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Bayt düzeyinde işlemeyi gösteren ancak yavaş olduğu için eleştirilen önceki modellerden hangisi?
    • BERT
    • ByT5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Resim pikselleri
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder