Тест на суперпозицию и многозначность

Ответы и пояснения появляются по мере прохождения теста.

1. Что означает «суперпозиция» в нейронных сетях?
   • Представление большего количества функций, чем имеется нейронов, путем перекрытия их направлений.
   • Установка нескольких моделей друг на друга
   • Запуск модели дважды и усреднение
   • Добавление шума к входным данным во время обучения
2. Какое условие обеспечивает хорошую работу суперпозиции, несмотря на взаимодействие функций?
   • Функции постоянно активно активны
   • Функций мало, поэтому немногие из них активны одновременно.
   • Использование только положительных активаций
   • Иметь больше нейронов, чем функций
3. Что такое многозначный нейрон?
   • Нейрон, который никогда не активируется
   • Нейрон, используемый только в выходном слое
   • Нейрон, который реагирует на множество несвязанных понятий
   • Нейрон без связей
4. Какой документ Anthropic представил контролируемое исследование этого явления в 2022 году?
   • Внимание — это все, что вам нужно
   • Классификация ImageNet с глубокими CNN
   • Игра в Atari с Deep RL
   • Игрушечные модели суперпозиции
5. Если слой должен хранить больше объектов, чем имеет размеры, что является геометрически неизбежным?
   • Некоторые объекты должны иметь перекрывающиеся, неортогональные направления.
   • Все функции могут оставаться совершенно ортогональными.
   • Сеть должна выйти из строя
   • Все функции становятся идентичными
6. Почему суперпозиция затрудняет интерпретируемость?
   • Это замедляет работу модели.
   • Отдельные нейроны больше не соответствуют единым концепциям.
   • Удаляет все функции из модели.
   • Это влияет только на входной слой
7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
   • Sparse activity makes all feature directions orthogonal
   • It increases the number of neurons automatically
   • Fewer features are active at the same time, so overlapping directions collide less often
   • It removes the need for nonlinear computation
8. What does an antipodal pair of feature directions look like geometrically?
   • Two vectors at a right angle in separate dimensions
   • Two vectors with identical directions and magnitudes
   • A vector with no coordinates
   • Two directions that point opposite ways along the same line