Quiz dotyczący modelowania długiego kontekstu

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Do czego odnosi się „okno kontekstowe” modelu?
   • Maksymalna liczba tokenów, którymi może obsłużyć w jednym przejściu
   • Rozmiar ekranu interfejsu czatu
   • Liczba użytkowników dozwolona jednocześnie
   • Jak długo model był szkolony
2. Dlaczego standardowa samouważność staje się kosztowna w przypadku długich danych wejściowych?
   • Rośnie liniowo i zawsze jest tani
   • Jego moc obliczeniowa i pamięć rosną kwadratowo wraz z długością sekwencji
   • Nie może odczytać więcej niż jednego tokena
   • Działa tylko na obrazach
3. Na czym polega problem „zagubienia w środku”?
   • Modele całkowicie zapominają o swoim treningu
   • Modele mogą czytać tylko środek dokumentu
   • Modele lepiej przywołują informacje na początku i na końcu długiego wpisu niż fakty ukryte w środku
   • Modele tłumaczą środek na inny język
4. Co przede wszystkim poprawia FlashAttention?
   • Powoduje to, że model generuje dłuższy tekst
   • Automatycznie dodaje więcej danych treningowych
   • Eliminuje potrzebę jakiejkolwiek uwagi
   • Zmniejsza wąskie gardło pamięci dzięki obliczeniom kafelkowym obsługującym IO
5. Jaką rolę odgrywają osadzania w pozycji obrotowej (RoPE) w modelach o długim kontekście?
   • Kodują pozycje tokenów i dzięki interpolacji pomagają uogólniać na dłuższe sekwencje
   • Usuwają tokeny z danych wejściowych
   • Tłumaczą tekst między językami
   • Przechowują masę modelu
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • Tylko klasyfikacja obrazu
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Task type never affects context use
   • A model may handle simple retrieval yet fail to combine or track information across a long input