Quiz dotyczący skalowania okna kontekstowego YaRN

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki schemat kodowania pozycji modyfikuje YaRN, aby wydłużyć długość kontekstu?
   • Osadzenie w pozycji obrotowej (lina)
   • Absolutne osady sinusoidalne
   • Nauczone tabele wyszukiwania pozycyjnego
   • Odchylenia liniowe ALiBi
2. W jaki sposób YaRN traktuje wymiary RoPE o wysokiej i niskiej częstotliwości?
   • Interpoluje oba jednakowo
   • Całkowicie usuwa wymiary o wysokiej częstotliwości
   • Modyfikuje jedynie wymiary o wysokiej częstotliwości
   • Pozostawia wymiary o wysokiej częstotliwości w większości nienaruszone i interpoluje wymiary o niskiej częstotliwości
3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
   • As proof that no YaRN model ever needs training
   • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
   • As a universal promise that every dataset size works equally well
   • As removal of the need for GPUs or inference computation
4. Oprócz przeskalowania częstotliwości, jakie dodatkowe dostosowania stosuje YaRN, aby utrzymać stabilną uwagę dalekiego zasięgu?
   • Wzrost liczby rezygnacji
   • Większe słownictwo
   • Regulacja temperatury uwagi (skalowanie softmax).
   • Przycinanie gradientowe
5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
   • The model necessarily becomes perfectly accurate at longer lengths
   • The context extension automatically reduces memory to zero
   • A larger window proves every passage is equally easy to retrieve
   • Positional and attention behavior may degrade outside the conditions it learned
6. Naiwna liniowa interpolacja pozycji szkodzi, jaką zdolność YaRN ma zachować?
   • Dobre lokalne relacje między pobliskimi tokenami
   • Rozmiar słownictwa modelu
   • Szybkość tokenizera
   • Liczba warstw
7. What happens in the transition region between YaRN's high- and low-frequency treatments?
   • Every dimension is assigned a random vocabulary token
   • All transition dimensions are deleted from attention
   • The scheme blends original and interpolated frequency treatment across the relevant dimensions
   • One identical scaling rule ignores frequency differences entirely
8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
   • Whether the positional scheme can accept any coordinates at all
   • Reliable performance for every intended task and position within that window
   • The spelling of the model's name
   • A requirement that every inference request retrain all weights