Вікторина, пов’язана з посібником · важко Рівень

Тест про моделі Mixtral і Sparse

Ознайомтеся з маршрутизацією Mixtral, експертною активацією, загальними й активними параметрами, а також практичними компромісами пам’яті та розгортання розріджених моделей.

Пов'язані напрямні шляхиМоделі Mixtral і Sparse
Питання 1 з 8

Скільки експертів обробляють кожен окремий токен у Mixtral 8x7B?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Скільки експертів обробляють кожен окремий токен у Mixtral 8x7B?
    • Два експерта
    • Всі вісім експертів
    • Рівно один експерт
    • Кожен раз випадкове число
  2. Який компонент вирішує, яким експертам буде надіслано маркер?
    • Токенізатор
    • Маршрутизатор (шлюзова мережа)
    • Рівень уваги
    • Вставний стіл
  3. Хоча Mixtral 8x7B має близько 47B загальних параметрів, скільки приблизно активних на маркер?
    • Близько 47 млрд
    • Близько 7 мільярдів
    • Близько 13 мільярдів
    • Близько 70 мільярдів
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. За якою ліцензією Mistral AI випустив Mixtral, сприяючи відкритому впровадженню?
    • Apache 2.0
    • Запатентований, лише із закритим кодом
    • GPL v3
    • Creative Commons Некомерційний
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • Це усуває потребу в будь-яких навчальних даних
    • Supervised fine-tuning and direct preference optimization (DPO)
    • Це повністю усуває потребу у графічних процесорах
    • Це гарантує, що моделі ніколи не помиляться
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • Два експерта
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish