Тест, свързан с ръководство · трудно Ниво
Тест за суперпозиция и полисемантичност
Проверките включват суперпозиция, рядкост, полисемантични неврони, припокриващи се посоки и геометрията на компресираните представяния.
Въпрос 1 на 8
Какво означава „суперпозиция“ в невронните мрежи?
Визуализирайте всеки въпрос8 въпроси
Отговорите и обясненията се появяват, докато отговаряте на теста.
- Какво означава „суперпозиция“ в невронните мрежи?
- Представяне на повече функции, отколкото има неврони чрез припокриване на техните посоки
- Подреждане на няколко модела един върху друг
- Изпълнение на модела два пъти и осредняване
- Добавяне на шум към входовете по време на обучение
- Какво условие кара суперпозицията да работи добре въпреки намесата на функциите?
- Функциите са гъсто активни през цялото време
- Функциите са оскъдни, толкова малко са активни едновременно
- Използване само на положителни активации
- Има повече неврони, отколкото функции
- Какво е "полисемантичен" неврон?
- Неврон, който никога не се активира
- Неврон, използван само в изходния слой
- Неврон, който реагира на много несвързани концепции
- Неврон без връзки
- Кой документ Anthropic въведе контролирано изследване на този феномен през 2022 г.?
- Вниманието е всичко, от което се нуждаете
- ImageNet класификация с дълбоки CNN
- Игра на Atari с Deep RL
- Играчки модели на суперпозиция
- Ако един слой трябва да съхранява повече характеристики, отколкото има размери, какво е геометрично неизбежно?
- Някои елементи трябва да споделят припокриващи се, неортогонални посоки
- Всички функции могат да останат идеално ортогонални
- Мрежата трябва да се срине
- Всички функции стават идентични
- Защо суперпозицията прави тълкуемостта по-трудна?
- Това прави модела по-бавен за работа
- Единичните неврони вече не се съпоставят чисто с отделни концепции
- Той премахва всички функции от модела
- Засяга само входния слой
- Why does sparse feature activity reduce interference when more features than dimensions are represented?
- Sparse activity makes all feature directions orthogonal
- It increases the number of neurons automatically
- Fewer features are active at the same time, so overlapping directions collide less often
- It removes the need for nonlinear computation
- What does an antipodal pair of feature directions look like geometrically?
- Two vectors at a right angle in separate dimensions
- Two vectors with identical directions and magnitudes
- A vector with no coordinates
- Two directions that point opposite ways along the same line