Quiz collegato alla guida · Medio Livello

ALiBi Quiz sui pregiudizi di posizione

Scopri come ALiBi aggiunge distorsioni di attenzione basate sulla distanza e supporta sequenze di inferenza più lunghe senza tabelle di posizione assoluta apprese.

Percorsi guida correlatiBias sulla posizione dell’alibi
Domanda 1 di 8

Cosa significa ALiBi?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa significa ALiBi?
    • Attenzione ai bias lineari
    • Bias lineare adattivo
    • Codifica bidirezionale allineata
    • Indicizzazione lineare assoluta
  2. In che modo ALiBi penalizza i token distanti?
    • Azzerando gli incorporamenti oltre una finestra fissa
    • Aggiungendo una penalità proporzionale alla distanza tra query e posizioni chiave
    • Imparando un incorporamento separato per ogni posizione
    • Ruotando la query e i vettori chiave
  3. Qual è il vantaggio pratico più celebre di ALiBi?
    • Elimina la necessità di un softmax
    • Fa scorrere l'attenzione nella memoria costante
    • Si estrapola bene a sequenze più lunghe di quelle viste in allenamento
    • Elimina la necessità di più teste di attenzione
  4. Cosa c’è di diverso nella distorsione lineare tra le teste di attenzione?
    • Ogni testa condivide esattamente la stessa pendenza
    • Le piste si imparano durante l'allenamento
    • Solo la prima testa riceve un bias
    • Ogni testa ha la propria inclinazione fissa, formando una sequenza geometrica
  5. Rispetto ai tradizionali incorporamenti posizionali, ALiBi aggiunge quanti parametri appresi?
    • Nessuno: le pendenze del bias sono fisse, non apprese
    • Uno per posizione
    • Uno per gettone
    • Due per testa di attenzione
  6. Quale noto modello di grandi dimensioni ha utilizzato ALiBi per le informazioni sulla posizione?
    • GPT-2
    • FIORITURA
    • BERT
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position