Quiz collegato alla guida · Difficile Livello
Quiz sul ridimensionamento della finestra di contesto YaRN
Esamina le bande di frequenza YaRN, la fusione delle transizioni, la temperatura di attenzione, i costi di adattamento e la differenza tra durata supportata e prestazioni.
Domanda 1 di 8
Quale schema di codifica della posizione modifica YaRN per estendere la lunghezza del contesto?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale schema di codifica della posizione modifica YaRN per estendere la lunghezza del contesto?
- Incorporamenti di posizione rotante (RoPE)
- Immersioni sinusoidali assolute
- Tabelle di ricerca posizionale apprese
- Distorsione lineare ALiBi
- In che modo YaRN tratta le dimensioni RoPE ad alta frequenza rispetto a quelle a bassa frequenza?
- Interpola entrambi allo stesso modo
- Rimuove completamente le dimensioni ad alta frequenza
- Modifica solo le dimensioni delle alte frequenze
- Lascia le dimensioni ad alta frequenza per lo più intatte e interpola quelle a bassa frequenza
- How should YaRN's reported data and fine-tuning efficiency be interpreted?
- As proof that no YaRN model ever needs training
- As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
- As a universal promise that every dataset size works equally well
- As removal of the need for GPUs or inference computation
- Oltre al ridimensionamento delle frequenze, quale aggiustamento aggiuntivo applica YaRN per mantenere stabile l’attenzione a lungo raggio?
- Un aumento degli abbandoni
- Un vocabolario più ampio
- Una regolazione della temperatura di attenzione (ridimensionamento softmax).
- Ritaglio gradiente
- What motivates evaluating a RoPE model before using a context far beyond its original training length?
- The model necessarily becomes perfectly accurate at longer lengths
- The context extension automatically reduces memory to zero
- A larger window proves every passage is equally easy to retrieve
- Positional and attention behavior may degrade outside the conditions it learned
- L'ingenua interpolazione della posizione lineare danneggia quale capacità che YaRN mira a preservare?
- Ottime relazioni locali tra token vicini
- La dimensione del vocabolario del modello
- La velocità del tokenizzatore
- Il numero di strati
- What happens in the transition region between YaRN's high- and low-frequency treatments?
- Every dimension is assigned a random vocabulary token
- All transition dimensions are deleted from attention
- The scheme blends original and interpolated frequency treatment across the relevant dimensions
- One identical scaling rule ignores frequency differences entirely
- What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
- Whether the positional scheme can accept any coordinates at all
- Reliable performance for every intended task and position within that window
- The spelling of the model's name
- A requirement that every inference request retrain all weights