Quiz dotyczący soczewek Logit i tuningowanych obiektywów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Do czego służy soczewka logitowa?
   • Stosuje ostateczne usunięcie modelu z pośrednich stanów ukrytych, aby odczytać prognozy dla każdej warstwy
   • Dodaje nowe warstwy do transformatora
   • Odwraca uwagę od modela
   • Tłumaczy między językami ludzkimi
2. Jakie kluczowe ulepszenia wprowadza dostrojony obiektyw w porównaniu z surowym obiektywem logitowym?
   • Używa większego słownictwa
   • Uczy małą mapę afiniczną dla każdej warstwy, aby przełożyć ukryte stany na ostateczną podstawę
   • Eliminuje to potrzebę usuwania osadzania
   • Działa tylko na modelach obrazu
3. Jaka struktura transformatorów umożliwia zastosowanie tych soczewek?
   • Filtry splotowe
   • Tokenizator
   • Dodatek strumień resztkowy, który później po usunięciu osadza, rzutuje na logity
   • Szybkość uczenia się optymalizatora
4. Kto i mniej więcej kiedy wprowadził oryginalny obiektyw Logit?
   • DeepMind w 2015 r
   • OpenAI w 2018 r
   • Google w 2012 r
   • nostalgiczny w 2020 roku
5. Gdzie soczewka logitowa często pokazuje ostateczną odpowiedź „krystalizującą”?
   • W warstwach średnich i późnych
   • Tylko w pierwszej warstwie
   • Nigdy, odpowiedź pojawia się od razu
   • Całkowicie poza modelem
6. Dlaczego surowa soczewka logitowa może być zawodna we wczesnych warstwach?
   • Wczesne warstwy nie mają neuronów
   • Ich ukryte stany nie są jeszcze dostosowane do ostatecznej podstawy wyjściowej, jakiej oczekuje od osadzania
   • Wczesne warstwy nigdy nie są używane w przewidywaniu
   • Macierz wycofywania jest losowa
7. What does the model’s final unembedding map a residual-stream vector into?
   • A new set of transformer layers
   • A similarity graph over training examples
   • Vocabulary logits that can be converted into token probabilities
   • A gradient clipping threshold
8. Why can an early-layer raw logit-lens prediction be misleading?
   • The layer has already generated the full answer
   • The tokenizer has been removed
   • The unembedding only works on images
   • The intermediate state may not yet be aligned with the final output basis