Викторина на механистическую интерпретацию

Ответы и пояснения появляются по мере прохождения теста.

1. Какова основная цель механистической интерпретируемости?
   • Преобразовать внутренние вычисления сети в понятные человеку алгоритмы.
   • Чтобы модели обучались быстрее
   • Сжатие моделей для мобильных устройств
   • Ранжирование входных объектов только по важности
2. Что означает «суперпозиция» в нейронной сети?
   • Объединение нескольких моделей вместе
   • Представление большего количества объектов, чем имеется размеров, с использованием перекрывающихся направлений.
   • Запуск модели на нескольких графических процессорах
   • Усреднение прогнозов из разных прогонов
3. Разреженные автоэнкодеры используются в механистической интерпретируемости в первую очередь для...
   • Генерация данных обучения
   • Ускорить вывод
   • Разделите многозначные активации на более чистые и интерпретируемые функции.
   • Зашифровать веса модели
4. Что такое «индукционные головки»?
   • Аппаратные ускорители для трансформаторов
   • Выходные слои, генерирующие текст
   • Тип функции потерь
   • Головки внимания, которые копируют и продолжают повторяющиеся шаблоны токенов, поддерживая контекстное обучение.
5. Как исследователи подтверждают, что обнаруженная схема действительно выполняет гипотетические вычисления?
   • Посредством причинных вмешательств, таких как абляция или исправление определенных активаций.
   • Проверяя точность обучения модели
   • Подсчитав количество параметров
   • Измеряя задержку вывода
6. Какова осторожная причина, связанная с безопасностью, для изучения механистической интерпретируемости?
   • It proves every hidden behavior can already be found
   • It may provide evidence about internal computations, while current methods are not a complete audit or direct steering guarantee
   • It guarantees a model will follow any requested correction
   • It replaces evaluations of model behavior in deployment
7. If a sparse autoencoder feature activates on examples described as “Golden Gate Bridge,” what does that observation establish?
   • The entire model’s computation is now explained
   • The feature is guaranteed to be a single neuron
   • A candidate feature correlates with those examples and needs further testing to establish its role
   • The feature causes every bridge-related output
8. Why test a candidate feature across varied prompts and examples?
   • Proof that the model has no other relevant circuits
   • A guarantee that the explanation generalizes to every prompt
   • A replacement for inspecting model behavior
   • To check whether the observed activation pattern generalizes beyond selected examples