Викторина, связанная с руководством · Жесткий Уровень

Викторина по микстральным и разреженным моделям

Просмотрите маршрутизацию Mixtral, экспертную активацию, общие и активные параметры, а также практические компромиссы между памятью и развертыванием разреженных моделей.

Связанные направляющие путиМикстральные и разреженные модели
Вопрос 1 из 8

Сколько экспертов обрабатывают каждый отдельный токен в Mixtral 8x7B?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Сколько экспертов обрабатывают каждый отдельный токен в Mixtral 8x7B?
    • Два эксперта
    • Все восемь экспертов
    • Ровно один эксперт
    • Случайное число каждый раз
  2. Какой компонент решает, каким экспертам будет отправлен токен?
    • Токенизатор
    • Маршрутизатор (шлюзовая сеть)
    • Слой внимания
    • Таблица встраивания
  3. Хотя Mixtral 8x7B имеет около 47B параметров, сколько примерно активных параметров приходится на один токен?
    • Около 47 миллиардов
    • Около 7 миллиардов
    • Около 13 миллиардов
    • Около 70 миллиардов
  4. Для чего нужна учетная запись настройки обслуживания Mixtral, даже если на один токен работают только два эксперта?
    • Где-либо необходимо сохранять только активные параметры.
    • Все эксперты всегда должны помещаться в памяти графического процессора без возможности выгрузки.
    • Неиспользуемые эксперты можно удалить без изменения контрольной точки.
    • Полные экспертные веса должны быть доступны системе с резидентностью или разгрузкой в зависимости от развертывания.
  5. Под какой лицензией Mistral AI выпустила Mixtral, что способствовало открытому внедрению?
    • Апач 2.0
    • Только проприетарный, с закрытым исходным кодом
    • Лицензия GPL v3
    • Creative Commons некоммерческая
  6. О каких этапах обучения сообщает Mistral для варианта инструкции Mixtral 8x7B?
    • Это устраняет необходимость в каких-либо обучающих данных.
    • Контролируемая точная настройка и прямая оптимизация предпочтений (DPO)
    • Это полностью устраняет необходимость в графических процессорах.
    • Это гарантирует, что модели никогда не совершают ошибок.
  7. Сколько экспертных сетей доступно в каждом слое разреженной смеси экспертов Mixtral размером 8x7B?
    • Два эксперта
    • Семь экспертов
    • Восемь экспертов
    • Двенадцать экспертов
  8. Какие языки Mistral перечисляет для Mixtral 8x7B?
    • Да; все неиспользуемые экспертные веса удаляются
    • Да; это означает, что модель плотная с общим количеством параметров 12,9B.
    • Нет; это означает, что каждый параметр активен для каждого токена
    • Английский, французский, итальянский, немецкий и испанский