Quiz collegato alla guida · Medio Livello
ALiBi Quiz sui pregiudizi di posizione
Scopri come ALiBi aggiunge distorsioni di attenzione basate sulla distanza e supporta sequenze di inferenza più lunghe senza tabelle di posizione assoluta apprese.
Domanda 1 di 8
Cosa significa ALiBi?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa significa ALiBi?
- Attenzione ai bias lineari
- Bias lineare adattivo
- Codifica bidirezionale allineata
- Indicizzazione lineare assoluta
- In che modo ALiBi penalizza i token distanti?
- Azzerando gli incorporamenti oltre una finestra fissa
- Aggiungendo una penalità proporzionale alla distanza tra query e posizioni chiave
- Imparando un incorporamento separato per ogni posizione
- Ruotando la query e i vettori chiave
- Qual è il vantaggio pratico più celebre di ALiBi?
- Elimina la necessità di un softmax
- Fa scorrere l'attenzione nella memoria costante
- Si estrapola bene a sequenze più lunghe di quelle viste in allenamento
- Elimina la necessità di più teste di attenzione
- Cosa c’è di diverso nella distorsione lineare tra le teste di attenzione?
- Ogni testa condivide esattamente la stessa pendenza
- Le piste si imparano durante l'allenamento
- Solo la prima testa riceve un bias
- Ogni testa ha la propria inclinazione fissa, formando una sequenza geometrica
- Rispetto ai tradizionali incorporamenti posizionali, ALiBi aggiunge quanti parametri appresi?
- Nessuno: le pendenze del bias sono fisse, non apprese
- Uno per posizione
- Uno per gettone
- Due per testa di attenzione
- Quale noto modello di grandi dimensioni ha utilizzato ALiBi per le informazioni sulla posizione?
- GPT-2
- FIORITURA
- BERT
- Word2Vec
- At what stage does ALiBi apply its distance-based bias?
- To token IDs before they enter the embedding table
- To the final vocabulary probabilities after decoding
- To query-key attention scores before the softmax
- To the training labels after loss calculation
- Why can ALiBi support inference on sequences longer than those used in training?
- It removes the need for attention at longer lengths
- It automatically retrains the model while generating
- It stores a complete answer for every possible sequence length
- Its distance-based bias does not require a separately learned embedding for every absolute position