Вікторина, пов’язана з посібником · Середній Рівень

Суміш глибин. Вікторина

Перевірте маршрутизатор навчених маркерів МО, фіксовану ємність top-k, залишковий шлях для пропущених маркерів, статичні форми та захист причинної маршрутизації.

Пов'язані напрямні шляхиСуміш глибин
Питання 1 з 8

Чим відрізняється Mixture of Depths у різних жетонах?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Чим відрізняється Mixture of Depths у різних жетонах?
    • Скільки обчислень (які рівні) отримує кожен маркер
    • Використана лексика
    • Навчальний набір даних
    • Мова виводу
  2. Як МО підтримує передбачуваний бюджет обчислень?
    • Довільно скинувши половину гир моделі
    • Обробляючи фіксовану частку top-k токенів у кожному блоці
    • Використовуючи різні моделі для кожного речення
    • Повністю відключивши увагу
  3. Що відбувається з токенами, які маршрутизатор НЕ вибирає в певному блоці?
    • Вони видаляються з послідовності
    • Їх відправляють в окрему модель
    • Вони пропускають блок через залишкове з'єднання, проходячи без змін
    • Вони перетворюються на зображення
  4. Яка лабораторія опублікувала техніку «Змішання глибин»?
    • OpenAI у 2019 році
    • Meta у 2015 році
    • Microsoft у 2012 році
    • Google DeepMind у 2024 році
  5. Що дає поєднання MoD із Mixture-of-Experts?
    • Режим MODE, який орієнтується як на глибину, так і на експертний вибір
    • Модель без параметрів
    • Чиста згорточна мережа
    • Система лише для токенізатора
  6. Чому в MoD краще використовувати фіксований top-k, аніж порогове значення для кожного токена?
    • Це змушує модель виводити довільний текст
    • Він зберігає форми тензора статичними, що є ефективним для апаратного забезпечення
    • Це позбавляє від необхідності навчання
    • Це збільшує обсяг словникового запасу
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens