Викторина, связанная с руководством · Средний Уровень

Викторина «Смесь глубин»

Протестируйте обученный маршрутизатор токенов МО, фиксированную емкость top-k, остаточный путь для пропущенных токенов, статические формы и защиту причинно-следственной маршрутизации.

Связанные направляющие путиСмесь глубин
Вопрос 1 из 8

Что Mixture of Depths варьируется в зависимости от токена?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что Mixture of Depths варьируется в зависимости от токена?
    • Сколько вычислений (какие слои) получает каждый токен
    • Используемый словарный запас
    • Набор обучающих данных
    • Язык вывода
  2. Как Минобороны обеспечивает прогнозируемость своего вычислительного бюджета?
    • Путем случайного сброса половины веса модели
    • Обрабатывая фиксированную долю токенов top-k в каждом блоке
    • Используя разные модели для каждого предложения
    • Полностью отключив внимание
  3. Что происходит с токенами, которые маршрутизатор НЕ выбирает в данном блоке?
    • Они удалены из последовательности
    • Они отправлены в отдельную модель.
    • Они пропускают блок через остаточную связь, проходя без изменений
    • Они преобразуются в изображения
  4. Какая лаборатория опубликовала методику «Смесь глубин»?
    • OpenAI в 2019 году
    • Meta в 2015 году
    • Microsoft в 2012 г.
    • Google DeepMind в 2024 году
  5. Что дает объединение МО со смесью экспертов?
    • MoDE, который учитывает как глубину, так и выбор экспертов.
    • Модель без параметров
    • Чистая сверточная сеть
    • Система только для токенизатора
  6. Почему фиксированный топ-k предпочтительнее порогового значения для каждого токена в MoD?
    • Это заставляет модель выводить случайный текст
    • Он сохраняет тензорные формы статичными, что эффективно для аппаратного обеспечения.
    • Это устраняет необходимость в обучении
    • Увеличивает размер словарного запаса
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens