Quiz połączony z przewodnikiem · Ciężko Poziom

Quiz dotyczący przedłużania przędzy i długości kontekstu

Sprawdza, jak YaRN dostosowuje częstotliwości RoPE, zachowuje lokalne szczegóły, skaluje temperaturę uwagi i rozszerza kontekst dzięki precyzyjnemu dostrajaniu.

Powiązane ścieżki prowadząceRozszerzenie długości przędzy i kontekstu
Pytanie 1 z 8

Jaką metodę kodowania pozycji modyfikuje YaRN, aby rozszerzyć kontekst?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Jaką metodę kodowania pozycji modyfikuje YaRN, aby rozszerzyć kontekst?
    • Osadzenie w pozycji obrotowej (lina)
    • Absolutne osady sinusoidalne
    • Nauczone tabele wyszukiwania pozycyjnego
    • Tylko macierze odchylenia względnego
  2. Co dzieje się nie tak, gdy model RoPE widzi sekwencje dłuższe niż długość treningu?
    • Tokenizer ulega awarii
    • Kąty obrotu osiągają niewidoczne zakresy i wydajność spada
    • Model wyprowadza tylko zera
    • Gradienty stają się dokładnie jednym
  3. W jaki sposób YaRN traktuje różne wymiary częstotliwości RoPE?
    • Interpoluje wszystkie wymiary jednakowo
    • Usuwa wymiary o wysokiej częstotliwości
    • Interpoluje wymiary o niskiej częstotliwości, zachowując w dużej mierze wymiary o wysokiej częstotliwości
    • Losuje każdy wymiar
  4. Oprócz przeskalowania częstotliwości, jakie dodatkowe dostosowania stosuje YaRN?
    • Nowy tokenizer
    • Podwojenie liczby warstw
    • Usuwanie normalizacji warstw
    • Regulacja temperatury uwagi (skalowanie softmax).
  5. Jaka jest kluczowa praktyczna przewaga YaRN nad naiwną interpolacją?
    • Osiąga długi kontekst ze znacznie mniejszą ilością danych i kroków dostrajających
    • W ogóle nie potrzebuje modelu
    • Działa tylko poniżej 512 tokenów
    • Eliminuje to potrzebę stosowania procesorów graficznych
  6. Dlaczego naiwna interpolacja liniowa wszystkich częstotliwości RoPE jest szkodliwa?
    • Ma to wpływ jedynie na warunki stronniczości
    • Kompresuje wymiary o wysokiej częstotliwości, które kodują lokalne szczegóły
    • Dzięki temu model jest większy
    • Zmienia wielkość słownictwa
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context