Тест, свързан с ръководство · Среден Ниво

Тест за Logit Lens и Tuned Lens

Проверява показанията на междинния слой, структурата на остатъчния поток, настроения транслатор на обектива и ограниченията на необработения логит обектив.

Свързани ръководни пътекиLogit обектив и настроен обектив
Въпрос 1 на 8

Какво прави логит обективът?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво прави логит обективът?
    • Прилага окончателното премахване на модела към междинни скрити състояния за четене на прогнози на слой
    • Добавя нови слоеве към трансформатор
    • Премахва вниманието от модела
    • Превежда между човешки езици
  2. Какво ключово подобрение добавя настроеният обектив спрямо необработения логит обектив?
    • Той използва по-голям речник
    • Той обучава малка афинна карта на слой, за да преведе скритите състояния в крайната основа
    • Премахва необходимостта от всяко премахване
    • Работи само върху модели с изображения
  3. Каква структура в трансформаторите прави възможни тези лещи?
    • Конволюционните филтри
    • Токенизаторът
    • Допълнителният остатъчен поток, който невграждането по-късно проектира в logits
    • Степента на обучение на оптимизатора
  4. Кой представи оригиналния логит обектив и кога приблизително?
    • DeepMind през 2015 г
    • OpenAI през 2018 г
    • Google през 2012 г
    • носталгебраист през 2020 г
  5. Къде логичната леща често показва „кристализиране“ на крайния отговор?
    • В средни до късни слоеве
    • Само в първия слой
    • Никога, отговорът се появява наведнъж
    • Изцяло извън модела
  6. Защо необработеният logit обектив може да е ненадежден в ранните слоеве?
    • Ранните слоеве нямат неврони
    • Техните скрити състояния все още не са приведени в съответствие с крайната изходна база, която невграждането очаква
    • Ранните слоеве никога не се използват при прогнозиране
    • Матрицата за невграждане е произволна
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis