Kuis terkait panduan · Sedang Tingkat

Kuis Campuran Kedalaman

Uji router token yang dipelajari Kementerian Pertahanan, kapasitas top-k tetap, jalur sisa untuk token yang dilewati, bentuk statis, dan perlindungan perutean kausal.

Jalur panduan terkaitCampuran Kedalaman
Pertanyaan 1 dari 8

Apa perbedaan Mixture of Depths antar token?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa perbedaan Mixture of Depths antar token?
    • Berapa banyak komputasi (lapisan mana) yang diterima setiap token
    • Kosakata yang digunakan
    • Kumpulan data pelatihan
    • Bahasa keluaran
  2. Bagaimana Kementerian Pertahanan menjaga anggaran komputasinya tetap dapat diprediksi?
    • Dengan menjatuhkan setengah bobot model secara acak
    • Dengan memproses pecahan token teratas yang tetap di setiap blok
    • Dengan menggunakan model yang berbeda untuk setiap kalimatnya
    • Dengan menonaktifkan perhatian sepenuhnya
  3. Apa yang terjadi pada token yang TIDAK dipilih oleh router pada blok tertentu?
    • Mereka dihapus dari urutannya
    • Mereka dikirim ke model terpisah
    • Mereka melewati blok melalui koneksi sisa, melewatinya tanpa perubahan
    • Mereka diubah menjadi gambar
  4. Laboratorium mana yang menerbitkan teknik Mixture of Depths?
    • OpenAI pada tahun 2019
    • Meta pada tahun 2015
    • Microsoft pada tahun 2012
    • Google DeepMind pada tahun 2024
  5. Apa yang dihasilkan dari penggabungan Kementerian Pertahanan dengan Campuran Pakar?
    • Mode, yang mengarahkan pada kedalaman dan pilihan ahli
    • Model tanpa parameter
    • Jaringan konvolusional murni
    • Sistem khusus tokenizer
  6. Mengapa top-k tetap lebih disukai daripada ambang batas per token di Kementerian Pertahanan?
    • Itu membuat model mengeluarkan teks acak
    • Itu membuat bentuk tensor tetap statis, yang efisien pada perangkat keras
    • Ini menghilangkan kebutuhan akan pelatihan
    • Ini meningkatkan ukuran kosa kata
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens