Quiz collegato alla guida · Difficile Livello
YaRN e quiz sull'estensione della lunghezza del contesto
Controlla il modo in cui YaRN regola le frequenze RoPE, preserva i dettagli locali, ridimensiona la temperatura dell'attenzione ed estende il contesto con la messa a punto.
Domanda 1 di 8
Quale metodo di codifica della posizione modifica YaRN per estendere il contesto?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale metodo di codifica della posizione modifica YaRN per estendere il contesto?
- Incorporamenti di posizione rotante (RoPE)
- Immersioni sinusoidali assolute
- Tabelle di ricerca posizionale apprese
- Solo matrici di bias relative
- Cosa va storto quando un modello RoPE vede sequenze più lunghe della sua durata di addestramento?
- Il tokenizzatore si blocca
- Gli angoli di rotazione entrano in intervalli invisibili e le prestazioni crollano
- Il modello restituisce solo zeri
- I gradienti diventano esattamente uno
- In che modo YaRN tratta le diverse dimensioni di frequenza del RoPE?
- Interpola tutte le dimensioni allo stesso modo
- Elimina le dimensioni ad alta frequenza
- Interpola le dimensioni a bassa frequenza preservando in gran parte quelle ad alta frequenza
- Randomizza ogni dimensione
- Oltre alle frequenze di riscalamento, quale aggiustamento aggiuntivo applica YaRN?
- Un nuovo tokenizzatore
- Raddoppiando il numero di strati
- Rimozione della normalizzazione del livello
- Una regolazione della temperatura di attenzione (ridimensionamento softmax).
- Qual è un vantaggio pratico chiave di YaRN rispetto all'interpolazione ingenua?
- Raggiunge un contesto lungo con dati e passaggi di regolazione molto meno precisi
- Non ha bisogno di alcun modello
- Funziona solo sotto i 512 token
- Elimina la necessità di GPU
- Perché l'ingenua interpolazione lineare di tutte le frequenze RoPE è dannosa?
- Colpisce solo i termini di bias
- Comprime le dimensioni ad alta frequenza che codificano i dettagli locali
- Rende il modello più grande
- Cambia la dimensione del vocabolario
- In RoPE, which vectors receive position-dependent rotations?
- Only the value vectors
- Only the model’s token IDs
- The query and key vectors
- The optimizer’s gradient and momentum
- What does YaRN’s attention-temperature adjustment address when context length is extended?
- The number of GPU layers
- The dimensions of the token vocabulary
- The weight decay coefficient
- Changes in attention entropy or softmax sharpness caused by the longer context