Вікторина, пов’язана з посібником · Середній Рівень

Вікторина Logit Lens і Tuned Lens

Перевіряє зчитування проміжного шару, структуру залишкового потоку, налаштований транслятор лінзи та обмеження необробленої лінзи logit.

Пов'язані напрямні шляхиОб'єктив Logit і налаштований об'єктив
Питання 1 з 8

Що робить логіт-лінза?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що робить логіт-лінза?
    • Застосовує остаточне відключення моделі до проміжних прихованих станів, щоб зчитувати прогнози для кожного шару
    • Додає нові шари до трансформатора
    • Відволікає увагу від моделі
    • Перекладає між людськими мовами
  2. Які ключові покращення додає налаштований об’єктив порівняно з необробленим об’єктивом Logit?
    • Він використовує більший словниковий запас
    • Він тренує невелику афінну карту для кожного шару для перекладу прихованих станів у кінцеву основу
    • Це усуває потребу у будь-якому відключенні
    • Він працює лише на моделях зображень
  3. Яка структура трансформаторів робить можливими ці лінзи?
    • Згорткові фільтри
    • Токенізатор
    • Додатковий залишковий потік, який пізніше проектується в логіти під час відключення
    • Швидкість навчання оптимізатора
  4. Хто представив оригінальну лінзу Logit і коли приблизно?
    • DeepMind у 2015 році
    • OpenAI у 2018 році
    • Google у 2012 році
    • ностальгебраїст у 2020 році
  5. Де логіт-лінза часто показує «кристалізацію» остаточної відповіді?
    • У середньопізніх шарах
    • Тільки в найпершому шарі
    • Ніколи, відповідь з'являється відразу
    • Повністю за межами моделі
  6. Чому необроблена лінза logit може бути ненадійною на ранніх рівнях?
    • Ранні шари не мають нейронів
    • Їхні приховані стани ще не узгоджені з кінцевою основою виводу, яку очікує відключення
    • Ранні шари ніколи не використовуються в прогнозі
    • Матриця невбудовування є випадковою
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis