Quiz dotyczący mechanizmów uwagi

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. W którym przełomowym artykule z 2017 r. przedstawiono architekturę transformatora?
   • „Głębokie uczenie się szczątkowe na potrzeby rozpoznawania obrazów”
   • „Granie na Atari z głębokim wzmacnianiem uczenia się”
   • „Uwaga to wszystko, czego potrzebujesz”
   • „Generatywne sieci przeciwstawne”
3. Jakie trzy wektory są obliczane dla każdego tokenu, na który zwracasz uwagę?
   • Zapytanie, klucz i wartość
   • Wejście, wyjście i stronniczość
   • Średnia, mediana i tryb
   • Koder, dekoder i strata
4. Po co dzielić we wzorze softmax(QK^T / √d_k) V przez √d_k?
   • Aby przekonwertować wynik na liczby całkowite
   • Aby usunąć liczby ujemne
   • Aby model działał na GPU
   • Aby wyniki iloczynu skalarnego nie stały się zbyt duże przed softmaxem
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • Ponieważ musi pobrać nowe dane z Internetu
   • Ponieważ dłuższy tekst zawsze zawiera rzadsze słowa
   • Ponieważ koszt rośnie wraz z kwadratem długości ciągu (O(n²))
   • Ponieważ przełącza się na wolniejszy język programowania
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • Osiem
   • Cztery
   • Dwa
   • Trzy
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters