Quiz collegato alla guida · Difficile Livello

YaRN e quiz sull'estensione della lunghezza del contesto

Controlla il modo in cui YaRN regola le frequenze RoPE, preserva i dettagli locali, ridimensiona la temperatura dell'attenzione ed estende il contesto con la messa a punto.

Domanda 1 di 8

Quale metodo di codifica della posizione modifica YaRN per estendere il contesto?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale metodo di codifica della posizione modifica YaRN per estendere il contesto?
    • Incorporamenti di posizione rotante (RoPE)
    • Immersioni sinusoidali assolute
    • Tabelle di ricerca posizionale apprese
    • Solo matrici di bias relative
  2. Cosa va storto quando un modello RoPE vede sequenze più lunghe della sua durata di addestramento?
    • Il tokenizzatore si blocca
    • Gli angoli di rotazione entrano in intervalli invisibili e le prestazioni crollano
    • Il modello restituisce solo zeri
    • I gradienti diventano esattamente uno
  3. In che modo YaRN tratta le diverse dimensioni di frequenza del RoPE?
    • Interpola tutte le dimensioni allo stesso modo
    • Elimina le dimensioni ad alta frequenza
    • Interpola le dimensioni a bassa frequenza preservando in gran parte quelle ad alta frequenza
    • Randomizza ogni dimensione
  4. Oltre alle frequenze di riscalamento, quale aggiustamento aggiuntivo applica YaRN?
    • Un nuovo tokenizzatore
    • Raddoppiando il numero di strati
    • Rimozione della normalizzazione del livello
    • Una regolazione della temperatura di attenzione (ridimensionamento softmax).
  5. Qual è un vantaggio pratico chiave di YaRN rispetto all'interpolazione ingenua?
    • Raggiunge un contesto lungo con dati e passaggi di regolazione molto meno precisi
    • Non ha bisogno di alcun modello
    • Funziona solo sotto i 512 token
    • Elimina la necessità di GPU
  6. Perché l'ingenua interpolazione lineare di tutte le frequenze RoPE è dannosa?
    • Colpisce solo i termini di bias
    • Comprime le dimensioni ad alta frequenza che codificano i dettagli locali
    • Rende il modello più grande
    • Cambia la dimensione del vocabolario
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context