Тест, свързан с ръководство · Среден Ниво

Смес от дълбочини Тест

Тествайте научения токен рутер на Министерството на отбраната, фиксиран top-k капацитет, остатъчен път за пропуснати токени, статични форми и предпазни мерки за причинно-следствено маршрутизиране.

Свързани ръководни пътекиСмес от дълбочини
Въпрос 1 на 8

Какво варира сместа от дълбочини в различните токени?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво варира сместа от дълбочини в различните токени?
    • Колко изчисления (кои слоеве) получава всеки токен
    • Използваният речник
    • Наборът от данни за обучение
    • Изходният език
  2. Как Министерството на отбраната поддържа своя изчислителен бюджет предвидим?
    • Чрез произволно пускане на половината тежести на модела
    • Чрез обработка на фиксирана top-k част от токени във всеки блок
    • Като използвате различен модел за всяко изречение
    • Чрез пълното изключване на вниманието
  3. Какво се случва с токените, които рутерът НЕ избира в даден блок?
    • Те се изтриват от последователността
    • Изпращат се към отделен модел
    • Те прескачат блока чрез остатъчната връзка, преминавайки непроменени
    • Те се преобразуват в изображения
  4. Which lab published the Mixture of Depths technique?
    • OpenAI през 2019 г
    • Meta през 2015 г
    • Microsoft през 2012 г
    • Google DeepMind през 2024 г
  5. Какво произвежда комбинирането на MoD с Mixture-of-Experts?
    • Режим MODE, който маршрутизира както на дълбочина, така и на експертен избор
    • Модел без параметри
    • Чиста конволюционна мрежа
    • Система само за токенизатор
  6. Защо фиксираният top-k е предпочитан пред прага за токен в MoD?
    • Това кара модела да извежда произволен текст
    • Той поддържа тензорните форми статични, което е ефективно за хардуера
    • Премахва необходимостта от обучение
    • Увеличава обема на речниковия запас
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens