Kvíz spojený s průvodcem · Těžko úroveň

Příze Kontextové okno Měřítko Kvíz

Zkontrolujte frekvenční pásma YaRN, prolínání přechodů, teplotu pozornosti, náklady na přizpůsobení a rozdíl mezi podporovanou délkou a výkonem.

Související vodicí cestyMěřítko kontextového okna příze
Otázka 1 z 8

Jaké schéma kódování pozic upravuje YaRN, aby prodloužil délku kontextu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaké schéma kódování pozic upravuje YaRN, aby prodloužil délku kontextu?
    • Zabudování s otočnou polohou (RoPE)
    • Absolutní sinusové uložení
    • Naučil se polohové vyhledávací tabulky
    • ALiBi lineární odchylky
  2. Jak YaRN zachází s vysokofrekvenčními versus nízkofrekvenčními rozměry RoPE?
    • Interpoluje obojí stejně
    • Zcela odstraňuje vysokofrekvenční dimenze
    • Upravuje pouze vysokofrekvenční rozměry
    • Vysokofrekvenční dimenze ponechává většinou nedotčené a nízkofrekvenční interpoluje
  3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
    • As proof that no YaRN model ever needs training
    • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
    • As a universal promise that every dataset size works equally well
    • As removal of the need for GPUs or inference computation
  4. Jaká další úprava kromě přeškálování frekvencí používá YaRN, aby udržela pozornost na dlouhé vzdálenosti stabilní?
    • Nárůst odpadků
    • Větší slovní zásoba
    • Nastavení teploty pozornosti (softmax scaling).
    • Oříznutí přechodu
  5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
    • The model necessarily becomes perfectly accurate at longer lengths
    • The context extension automatically reduces memory to zero
    • A larger window proves every passage is equally easy to retrieve
    • Positional and attention behavior may degrade outside the conditions it learned
  6. Naivní lineární polohová interpolace bolí, kterou schopnost chce YaRN zachovat?
    • Jemné místní vztahy mezi blízkými žetony
    • Velikost slovní zásoby modelu
    • Rychlost tokenizeru
    • Počet vrstev
  7. What happens in the transition region between YaRN's high- and low-frequency treatments?
    • Every dimension is assigned a random vocabulary token
    • All transition dimensions are deleted from attention
    • The scheme blends original and interpolated frequency treatment across the relevant dimensions
    • One identical scaling rule ignores frequency differences entirely
  8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
    • Whether the positional scheme can accept any coordinates at all
    • Reliable performance for every intended task and position within that window
    • The spelling of the model's name
    • A requirement that every inference request retrain all weights