Campuran Kuis Pakar

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Dalam lapisan Campuran Pakar, apa yang menentukan pakar mana yang memproses token tertentu?
   • Router kecil yang terpelajar (jaringan gating) yang menilai para ahli
   • Tabel pencarian tetap ditetapkan sebelum pelatihan
   • Panjang prompt pengguna
   • Hasil imbang acak di setiap langkah
2. Mengapa model MoE dapat memiliki parameter total yang jauh lebih banyak dibandingkan model padat tanpa peningkatan biaya per token yang sesuai?
   • Ini memampatkan parameter menjadi satu bobot bersama
   • Itu melewatkan lapisan perhatian sepenuhnya
   • Hanya beberapa ahli (top-k) yang diaktifkan untuk setiap token
   • Ini menjalankan setiap pakar tetapi merata-ratakan hasilnya
3. Masalah apa yang diatasi oleh kerugian penyeimbangan beban (tambahan) selama pelatihan KLH?
   • Token terlalu panjang untuk jendela konteks
   • Router menggunakan terlalu banyak tenaga ahli dan membuat sisanya kelaparan
   • Gradien menghilang di kepala perhatian
   • Overfitting ke set validasi
4. Mixtral 8x7B mengaktifkan 2 dari 8 pakarnya per token. Apa implikasinya terhadap komputasi versus ukurannya?
   • Ia menggunakan komputasi kedelapan ahli pada setiap token
   • Ini memiliki parameter total lebih sedikit daripada model padat 7B
   • Itu tidak bisa berjalan di GPU sama sekali
   • Komputasi aktif per tokennya jauh lebih kecil daripada jumlah parameter total yang disarankan
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters