Kuis Model Campuran dan Jarang

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Di Mixtral 8x7B, berapa banyak pakar yang memproses setiap token?
   • Dua ahli
   • Kedelapan ahli tersebut
   • Tepatnya satu ahli
   • Nomor acak setiap kali
2. Komponen apa yang menentukan pakar mana yang akan menerima token?
   • Tokenizernya
   • Router (jaringan gerbang)
   • Lapisan perhatian
   • Tabel penyematan
3. Meskipun Mixtral 8x7B memiliki total parameter sekitar 47 miliar, kira-kira berapa banyak yang aktif per token?
   • Sekitar 47 miliar
   • Sekitar 7 miliar
   • Sekitar 13 miliar
   • Sekitar 70 miliar
4. What must a Mixtral serving setup account for even when only two experts run per token?
   • Only the active parameters ever need to be stored anywhere
   • All experts must always fit in GPU memory with no offloading option
   • Unused experts can be deleted without changing the checkpoint
   • The full expert weights must be available to the system, with residency or offloading depending on deployment
5. Di bawah lisensi manakah Mistral AI merilis Mixtral, sehingga mendorong adopsi terbuka?
   • Apache 2.0
   • Berpemilik, hanya sumber tertutup
   • GPLv3
   • Creative Commons NonKomersial
6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
   • Ini menghilangkan kebutuhan akan data pelatihan apa pun
   • Supervised fine-tuning and direct preference optimization (DPO)
   • Ini sepenuhnya menghilangkan kebutuhan akan GPU
   • Ini menjamin model tidak pernah melakukan kesalahan
7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
   • Dua ahli
   • Seven experts
   • Eight experts
   • Twelve experts
8. Which languages does Mistral list for Mixtral 8x7B?
   • Yes; all unused expert weights are deleted
   • Yes; it means the model is dense with 12.9B total parameters
   • No; it means every parameter is active for every token
   • English, French, Italian, German, and Spanish