Тест по оценке линейного зондирования и замороженных элементов

Ответы и пояснения появляются по мере прохождения теста.

1. Какие параметры стандартного линейного датчика обновляются во время обучения?
   • Только недавно добавленный линейный классификатор сверху
   • Вся магистраль плюс линейный слой
   • Только магистраль, оставляя классификатор фиксированным
   • Слой внедрения и последний блок внимания
2. What does high linear-probe accuracy most directly show?
   • The backbone causally uses the feature for every prediction
   • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
   • The representation is robust to every distribution shift
   • The probe has identified a human-interpretable mechanism
3. По сравнению с полной точной настройкой линейное зондирование привлекательно прежде всего потому, что оно:
   • Более точный подход к любой задаче
   • Гарантировано лучшее обобщение вне дистрибутива
   • Дешевле вычислительных ресурсов и памяти, а также более четкое представление о качестве функций.
   • Единственный способ использовать предварительно обученную модель
4. Обычным эмпирическим выводом при проверке трансформаторов является следующее:
   • Последний слой всегда обеспечивает наилучшую точность зонда.
   • Зондирование работает только в сверточных сетях.
   • Выбор слоя никогда не влияет на результаты зондирования
   • Промежуточные слои часто превосходят последний слой по переносимости.
5. Помимо сравнительного анализа, линейные датчики все чаще используются для обеспечения интерпретируемости, чтобы:
   • Определите, закодирована ли такая концепция, как правдивость, в скрытых состояниях.
   • Сжатие моделей для мобильного развертывания
   • Замените оптимизатор во время предварительного обучения
   • Автоматически генерировать новые данные обучения
6. Ключевой методологический риск при интерпретации высокой точности зонда заключается в том, что:
   • Костяк тайно продолжает тренироваться
   • Исследование могло использовать ложную корреляцию, а не истинную концепцию.
   • Линейные датчики не могут переоснащаться
   • Перекрестную энтропийную потерю нельзя использовать
7. To compare two backbone layers with linear probes, what should remain consistent?
   • The feature vectors from each layer
   • The layer being evaluated
   • The task labels, data split and probe-training protocol
   • The activation values themselves
8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
   • To update the frozen backbone
   • To add hidden nonlinear layers to the probe
   • To guarantee the concept is causally used
   • To reduce optimization and scale effects that could distort the representation comparison