Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Campuran Kedalaman

Uji penghala token yang dipelajari oleh MoD, kapasiti top-k tetap, laluan baki untuk token yang dilangkau, bentuk statik dan perlindungan penghalaan sebab.

Laluan panduan yang berkaitanCampuran Kedalaman
soalan 1 daripada 8

Apakah perbezaan Campuran Kedalaman merentas token?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah perbezaan Campuran Kedalaman merentas token?
    • Berapa banyak pengiraan (lapisan mana) yang diterima oleh setiap token
    • Perbendaharaan kata yang digunakan
    • Dataset latihan
    • Bahasa keluaran
  2. Bagaimanakah MoD memastikan belanjawan pengiraannya boleh diramalkan?
    • Dengan menjatuhkan separuh berat model secara rawak
    • Dengan memproses pecahan top-k tetap token di setiap blok
    • Dengan menggunakan model yang berbeza bagi setiap ayat
    • Dengan melumpuhkan perhatian sepenuhnya
  3. Apakah yang berlaku kepada token yang TIDAK dipilih oleh penghala pada blok tertentu?
    • Mereka dipadamkan daripada urutan
    • Mereka dihantar ke model yang berasingan
    • Mereka melangkau blok melalui sambungan baki, melalui tidak berubah
    • Mereka ditukar kepada imej
  4. Which lab published the Mixture of Depths technique?
    • OpenAI pada 2019
    • Meta pada tahun 2015
    • Microsoft pada tahun 2012
    • Google DeepMind pada tahun 2024
  5. Apakah hasil gabungan MoD dengan Mixture-of-Experts?
    • MoDE, yang mengarahkan pada kedua-dua pilihan kedalaman dan pakar
    • Model tanpa parameter
    • Rangkaian konvolusi tulen
    • Sistem tokenizer sahaja
  6. Mengapakah top-k tetap diutamakan berbanding ambang per-token dalam MoD?
    • Ia menjadikan model mengeluarkan teks rawak
    • Ia mengekalkan bentuk tensor statik, yang cekap pada perkakasan
    • Ia menghilangkan keperluan untuk latihan
    • Ia meningkatkan saiz perbendaharaan kata
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens