Kuiz berkaitan panduan · Keras Tahap

Kuiz Model Campuran dan Jarang

Semak penghalaan Mixtral, pengaktifan pakar, jumlah berbanding parameter aktif, dan pertukaran memori praktikal dan penggunaan model jarang.

Laluan panduan yang berkaitanModel Campuran Dan Jarang
soalan 1 daripada 8

Dalam Mixtral 8x7B, berapa ramai pakar yang memproses setiap token individu?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Dalam Mixtral 8x7B, berapa ramai pakar yang memproses setiap token individu?
    • Dua orang pakar
    • Semua lapan pakar
    • Tepat seorang pakar
    • Nombor rawak setiap kali
  2. Komponen apakah yang menentukan kepada pakar mana token dihantar?
    • Tokenizer
    • Penghala (rangkaian gating)
    • Lapisan perhatian
    • Meja benam
  3. Walaupun Mixtral 8x7B mempunyai kira-kira 47B jumlah parameter, kira-kira berapa banyak yang aktif setiap token?
    • Kira-kira 47 bilion
    • Kira-kira 7 bilion
    • Kira-kira 13 bilion
    • Kira-kira 70 bilion
  4. Apakah yang perlu diambil kira oleh persediaan pengehosan Mixtral walaupun hanya dua pakar berjalan bagi setiap token?
    • Hanya parameter aktif yang perlu disimpan di mana-mana sahaja
    • Semua pakar mesti sentiasa muat dalam memori GPU tanpa pilihan luar beban
    • Pakar yang tidak digunakan boleh dipadamkan tanpa menukar pusat semak
    • Berat pakar penuh mesti tersedia kepada sistem, dengan penempatan bermastautin atau luar beban bergantung pada penempatan
  5. Di bawah lesen manakah Mistral AI mengeluarkan Mixtral, memacu penerimaan terbuka?
    • Apache 2.0
    • Hak milik, sumber tertutup sahaja
    • GPL v3
    • Creative Commons Bukan Komersial
  6. Apakah langkah latihan yang dilaporkan oleh Mistral untuk varian Mixtral 8x7B Instruct?
    • Ia menghilangkan keperluan untuk sebarang data latihan
    • Penyeliaan fine-tuning dan direct preference optimization (DPO)
    • Ia menghapuskan keperluan untuk GPU sepenuhnya
    • Ia menjamin model tidak pernah membuat kesilapan
  7. Berapakah bilangan rangkaian pakar yang tersedia dalam setiap lapisan campuran pakar jarang Mixtral 8x7B?
    • Dua orang pakar
    • Tujuh pakar
    • Lapan pakar
    • Twelve experts
  8. Apakah bahasa yang disenaraikan oleh Mistral untuk Mixtral 8x7B?
    • Ya; semua berat pakar yang tidak digunakan dipadamkan
    • Ya; ini bermakna model itu tumpat dengan jumlah 12.9B parameter
    • Tidak; ini bermakna setiap parameter aktif untuk setiap token
    • Bahasa Inggeris, Perancis, Itali, Jerman, dan Sepanyol