Quiz collegato alla guida · Medio Livello
Interpolazione posizionale per quiz a contesto lungo
Controlla come l'interpolazione posizionale ridimensiona le posizioni RoPE, perché l'estrapolazione può destabilizzare l'attenzione e cosa ha valutato la sua fonte.
Domanda 1 di 8
Qual è l'idea centrale dietro l'interpolazione posizionale?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è l'idea centrale dietro l'interpolazione posizionale?
- Inserimento di nuovi indici di posizione nell'intervallo su cui il modello era già stato addestrato
- Addestrare un modello nuovo di zecca da zero per ogni lunghezza
- Rimozione completa delle informazioni sulla posizione
- Ordinamento dei token per importanza
- Perché l’estrapolazione ingenua a posizioni più lunghe fallisce?
- Utilizza troppo poca memoria
- Può far aumentare i punteggi di attenzione a valori estremamente grandi e instabili
- Restituisce sempre lo stesso token
- Richiede un tokenizzatore diverso
- All'incirca quanta messa a punto ha richiesto il lavoro PI originale per estendere LLaMA a 32K?
- Nessuna messa a punto
- Circa 1 milione di passi
- Circa 1.000 passi
- Una corsa pre-allenamento completa
- Se estendi il contesto di un fattore s, come fa PI a trasformare una posizione m?
- Mappa m = m volte s
- Mappa da m a m quadrato
- Mi lascia invariato
- Mappa m su m diviso per s
- In che modo PI ha influenzato metodi successivi come YaRN?
- È diventata la linea di base su cui sono migliorati i metodi sensibili alla frequenza
- È stato abbandonato e mai citato
- Ha sostituito l'architettura Transformer
- Si applica solo ai modelli di immagine
- A quale codifica di posizione si rivolge principalmente l'interpolazione posizionale?
- Codifiche one-hot
- RoPE (incorporamenti di posizione rotante)
- Vettori Word2Vec
- Conta il sacco di parole
- A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
- 2
- 8
- 16
- 32
- With extension factor s = 16, where does PI map original position m = 16,000?
- Position 16,000
- Position 256,000
- Position 32,000
- Position 1,000