Quiz collegato alla guida · Medio Livello

Interpolazione posizionale per quiz a contesto lungo

Controlla come l'interpolazione posizionale ridimensiona le posizioni RoPE, perché l'estrapolazione può destabilizzare l'attenzione e cosa ha valutato la sua fonte.

Domanda 1 di 8

Qual è l'idea centrale dietro l'interpolazione posizionale?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è l'idea centrale dietro l'interpolazione posizionale?
    • Inserimento di nuovi indici di posizione nell'intervallo su cui il modello era già stato addestrato
    • Addestrare un modello nuovo di zecca da zero per ogni lunghezza
    • Rimozione completa delle informazioni sulla posizione
    • Ordinamento dei token per importanza
  2. Perché l’estrapolazione ingenua a posizioni più lunghe fallisce?
    • Utilizza troppo poca memoria
    • Può far aumentare i punteggi di attenzione a valori estremamente grandi e instabili
    • Restituisce sempre lo stesso token
    • Richiede un tokenizzatore diverso
  3. All'incirca quanta messa a punto ha richiesto il lavoro PI originale per estendere LLaMA a 32K?
    • Nessuna messa a punto
    • Circa 1 milione di passi
    • Circa 1.000 passi
    • Una corsa pre-allenamento completa
  4. Se estendi il contesto di un fattore s, come fa PI a trasformare una posizione m?
    • Mappa m = m volte s
    • Mappa da m a m quadrato
    • Mi lascia invariato
    • Mappa m su m diviso per s
  5. In che modo PI ha influenzato metodi successivi come YaRN?
    • È diventata la linea di base su cui sono migliorati i metodi sensibili alla frequenza
    • È stato abbandonato e mai citato
    • Ha sostituito l'architettura Transformer
    • Si applica solo ai modelli di immagine
  6. A quale codifica di posizione si rivolge principalmente l'interpolazione posizionale?
    • Codifiche one-hot
    • RoPE (incorporamenti di posizione rotante)
    • Vettori Word2Vec
    • Conta il sacco di parole
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000