Kvíz spojený s průvodcem · Těžko úroveň
Příze Kontextové okno Měřítko Kvíz
Zkontrolujte frekvenční pásma YaRN, prolínání přechodů, teplotu pozornosti, náklady na přizpůsobení a rozdíl mezi podporovanou délkou a výkonem.
Otázka 1 z 8
Jaké schéma kódování pozic upravuje YaRN, aby prodloužil délku kontextu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaké schéma kódování pozic upravuje YaRN, aby prodloužil délku kontextu?
- Zabudování s otočnou polohou (RoPE)
- Absolutní sinusové uložení
- Naučil se polohové vyhledávací tabulky
- ALiBi lineární odchylky
- Jak YaRN zachází s vysokofrekvenčními versus nízkofrekvenčními rozměry RoPE?
- Interpoluje obojí stejně
- Zcela odstraňuje vysokofrekvenční dimenze
- Upravuje pouze vysokofrekvenční rozměry
- Vysokofrekvenční dimenze ponechává většinou nedotčené a nízkofrekvenční interpoluje
- How should YaRN's reported data and fine-tuning efficiency be interpreted?
- As proof that no YaRN model ever needs training
- As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
- As a universal promise that every dataset size works equally well
- As removal of the need for GPUs or inference computation
- Jaká další úprava kromě přeškálování frekvencí používá YaRN, aby udržela pozornost na dlouhé vzdálenosti stabilní?
- Nárůst odpadků
- Větší slovní zásoba
- Nastavení teploty pozornosti (softmax scaling).
- Oříznutí přechodu
- What motivates evaluating a RoPE model before using a context far beyond its original training length?
- The model necessarily becomes perfectly accurate at longer lengths
- The context extension automatically reduces memory to zero
- A larger window proves every passage is equally easy to retrieve
- Positional and attention behavior may degrade outside the conditions it learned
- Naivní lineární polohová interpolace bolí, kterou schopnost chce YaRN zachovat?
- Jemné místní vztahy mezi blízkými žetony
- Velikost slovní zásoby modelu
- Rychlost tokenizeru
- Počet vrstev
- What happens in the transition region between YaRN's high- and low-frequency treatments?
- Every dimension is assigned a random vocabulary token
- All transition dimensions are deleted from attention
- The scheme blends original and interpolated frequency treatment across the relevant dimensions
- One identical scaling rule ignores frequency differences entirely
- What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
- Whether the positional scheme can accept any coordinates at all
- Reliable performance for every intended task and position within that window
- The spelling of the model's name
- A requirement that every inference request retrain all weights