Kuis terkait panduan · Sedang Tingkat

Kuis Model Tingkat Byte Bebas Tokenizer

Pahami model bahasa byte mentah, patch berbasis entropi BLT, serta efisiensi dan cakupan tradeoff dari penghapusan kosakata token tetap.

Jalur panduan terkaitModel Tingkat Byte Gratis Tokenizer
Pertanyaan 1 dari 8

Apa yang dibaca oleh model tingkat byte bebas tokenizer sebagai unit masukannya?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang dibaca oleh model tingkat byte bebas tokenizer sebagai unit masukannya?
    • Byte mentah (nilai UTF-8 0-255)
    • Subkata bagian kata dari kosakata tetap
    • Seluruh kata dipisahkan oleh spasi
    • Hanya penyematan yang telah dihitung sebelumnya
  2. Apa kelemahan praktis utama dalam memasukkan byte mentah ke transformator standar?
    • Byte tidak boleh mewakili teks non-Inggris
    • Urutannya menjadi lebih panjang, sehingga meningkatkan biaya komputasi
    • Ada terlalu banyak kemungkinan nilai byte untuk disematkan
    • Byte kehilangan semua arti kata secara permanen
  3. Bagaimana Byte Latent Transformer (BLT) memutuskan di mana mengelompokkan byte ke dalam patch?
    • Dengan membagi setiap karakter spasi
    • Menggunakan ukuran patch tetap 4 byte
    • Berdasarkan entropi prediksi tingkat byte (ketidakpastian)
    • Secara acak selama setiap operan ke depan
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Model sebelumnya manakah yang menunjukkan pemrosesan tingkat byte tetapi dikritik karena lambat?
    • BERT
    • OlehT5
    • Kata2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Piksel gambar
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder