Quiz połączony z przewodnikiem · Ciężko Poziom
Quiz dotyczący superpozycji i polisemantyczności
Kontrole obejmują superpozycję, rzadkość, neurony polisemantyczne, nakładające się kierunki i geometrię skompresowanych reprezentacji.
Pytanie 1 z 8
Do czego odnosi się „superpozycja” w sieciach neuronowych?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Do czego odnosi się „superpozycja” w sieciach neuronowych?
- Reprezentuje więcej cech niż jest neuronów poprzez nakładanie się ich kierunków
- Układanie wielu modeli jeden na drugim
- Dwukrotne uruchomienie modelu i uśrednienie
- Dodawanie szumu do wejść podczas treningu
- Jaki warunek sprawia, że superpozycja działa dobrze pomimo interferencji cech?
- Funkcje są gęsto aktywne przez cały czas
- Funkcje są rzadkie, więc niewiele jest aktywnych jednocześnie
- Używanie wyłącznie pozytywnych aktywacji
- Posiadanie większej liczby neuronów niż cech
- Co to jest neuron „polisemantyczny”?
- Neuron, który nigdy się nie aktywuje
- Neuron używany tylko w warstwie wyjściowej
- Neuron, który reaguje na wiele niepowiązanych ze sobą pojęć
- Neuron bez połączeń
- W którym artykule Anthropic wprowadzono kontrolowane badanie tego zjawiska w 2022 roku?
- Uwaga jest wszystkim, czego potrzebujesz
- Klasyfikacja ImageNet z Deep CNN
- Gram na Atari z Deep RL
- Zabawkowe modele superpozycji
- Jeśli warstwa musi przechowywać więcej obiektów niż ma wymiarów, co jest geometrycznie nieuniknione?
- Niektóre obiekty muszą mieć wspólne nakładające się, nieortogonalne kierunki
- Wszystkie funkcje mogą pozostać idealnie ortogonalne
- Sieć musi ulec awarii
- Wszystkie funkcje stają się identyczne
- Dlaczego superpozycja utrudnia interpretację?
- To spowalnia działanie modelu
- Pojedyncze neurony nie są już w sposób przejrzysty mapowane na pojedyncze pojęcia
- Usuwa wszystkie funkcje z modelu
- Wpływa tylko na warstwę wejściową
- Why does sparse feature activity reduce interference when more features than dimensions are represented?
- Sparse activity makes all feature directions orthogonal
- It increases the number of neurons automatically
- Fewer features are active at the same time, so overlapping directions collide less often
- It removes the need for nonlinear computation
- What does an antipodal pair of feature directions look like geometrically?
- Two vectors at a right angle in separate dimensions
- Two vectors with identical directions and magnitudes
- A vector with no coordinates
- Two directions that point opposite ways along the same line