Quiz collegato alla guida · Difficile Livello

Quiz sul ridimensionamento della finestra di contesto YaRN

Esamina le bande di frequenza YaRN, la fusione delle transizioni, la temperatura di attenzione, i costi di adattamento e la differenza tra durata supportata e prestazioni.

Domanda 1 di 8

Quale schema di codifica della posizione modifica YaRN per estendere la lunghezza del contesto?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale schema di codifica della posizione modifica YaRN per estendere la lunghezza del contesto?
    • Incorporamenti di posizione rotante (RoPE)
    • Immersioni sinusoidali assolute
    • Tabelle di ricerca posizionale apprese
    • Distorsione lineare ALiBi
  2. In che modo YaRN tratta le dimensioni RoPE ad alta frequenza rispetto a quelle a bassa frequenza?
    • Interpola entrambi allo stesso modo
    • Rimuove completamente le dimensioni ad alta frequenza
    • Modifica solo le dimensioni delle alte frequenze
    • Lascia le dimensioni ad alta frequenza per lo più intatte e interpola quelle a bassa frequenza
  3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
    • As proof that no YaRN model ever needs training
    • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
    • As a universal promise that every dataset size works equally well
    • As removal of the need for GPUs or inference computation
  4. Oltre al ridimensionamento delle frequenze, quale aggiustamento aggiuntivo applica YaRN per mantenere stabile l’attenzione a lungo raggio?
    • Un aumento degli abbandoni
    • Un vocabolario più ampio
    • Una regolazione della temperatura di attenzione (ridimensionamento softmax).
    • Ritaglio gradiente
  5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
    • The model necessarily becomes perfectly accurate at longer lengths
    • The context extension automatically reduces memory to zero
    • A larger window proves every passage is equally easy to retrieve
    • Positional and attention behavior may degrade outside the conditions it learned
  6. L'ingenua interpolazione della posizione lineare danneggia quale capacità che YaRN mira a preservare?
    • Ottime relazioni locali tra token vicini
    • La dimensione del vocabolario del modello
    • La velocità del tokenizzatore
    • Il numero di strati
  7. What happens in the transition region between YaRN's high- and low-frequency treatments?
    • Every dimension is assigned a random vocabulary token
    • All transition dimensions are deleted from attention
    • The scheme blends original and interpolated frequency treatment across the relevant dimensions
    • One identical scaling rule ignores frequency differences entirely
  8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
    • Whether the positional scheme can accept any coordinates at all
    • Reliable performance for every intended task and position within that window
    • The spelling of the model's name
    • A requirement that every inference request retrain all weights