Тест по объективам Logit и настроенным объективам

Ответы и пояснения появляются по мере прохождения теста.

1. Что делает логит-объектив?
   • Применяет окончательное извлечение модели к промежуточным скрытым состояниям для чтения прогнозов для каждого слоя.
   • Добавляет новые слои в трансформер.
   • Отвлекает внимание от модели.
   • Переводит между человеческими языками
2. Какие ключевые улучшения дает настроенный объектив по сравнению с объективом Raw Logit?
   • Он использует более широкий словарный запас
   • Он обучает небольшую послойную аффинную карту для перевода скрытых состояний в конечный базис.
   • Это устраняет необходимость в каком-либо извлечении
   • Работает только с моделями изображений.
3. Какая структура трансформеров делает возможным использование таких линз?
   • Сверточные фильтры
   • Токенизатор
   • Аддитивный остаточный поток, который позднее при извлечении преобразуется в логиты.
   • Скорость обучения оптимизатора
4. Кто представил оригинальный объектив Logit и примерно когда?
   • ДипМайнд в 2015 году
   • OpenAI в 2018 году
   • Google в 2012 г.
   • ностальгебраист в 2020 году
5. Где логит-линза часто показывает, что окончательный ответ «кристаллизуется»?
   • В средних и поздних слоях
   • Только в самом первом слое
   • Никогда, ответ появляется сразу
   • За пределами модели полностью
6. Почему линза Raw Logit может быть ненадежной на ранних этапах?
   • Ранние слои не имеют нейронов
   • Их скрытые состояния еще не согласованы с окончательным базисом вывода, ожидаемым при извлечении.
   • Ранние слои никогда не используются в прогнозировании
   • Матрица извлечения является случайной
7. What does the model’s final unembedding map a residual-stream vector into?
   • A new set of transformer layers
   • A similarity graph over training examples
   • Vocabulary logits that can be converted into token probabilities
   • A gradient clipping threshold
8. Why can an early-layer raw logit-lens prediction be misleading?
   • The layer has already generated the full answer
   • The tokenizer has been removed
   • The unembedding only works on images
   • The intermediate state may not yet be aligned with the final output basis