Quiz collegato alla guida · Difficile Livello
Quiz sui vettori delle funzioni e sulle rappresentazioni dei compiti
Studia come i vettori di funzione vengono estratti dalle teste di attenzione, inseriti negli stati nascosti e testati in contesti di attività.
Domanda 1 di 8
Cosa rappresenta un vettore funzione nei modelli linguistici studiati?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa rappresenta un vettore funzione nei modelli linguistici studiati?
- Una rappresentazione compatta dello spazio di attivazione associata a un compito dimostrato
- La matrice completa dei pesi del modello
- Un embedding di token singolo in ogni contesto
- Il tasso di apprendimento dell’ottimizzatore
- Come viene tipicamente costruito un vettore di funzione?
- Sommando tutti gli incorporamenti di parole nel vocabolario
- Facendo la media dei risultati di attività specifiche, l'attenzione si dirige rispetto ai suggerimenti di esempio
- Perfezionando il modello su un esempio
- Leggendo le probabilità softmax finali
- Cosa ha osservato il documento sui vettori funzione dopo aver iniettato un vettore in un prompt zero-shot?
- Il modello si è sempre bloccato
- Ha garantito risposte corrette su qualsiasi compito
- Poteva attivare il compito associato nelle impostazioni testate
- Ha modificato permanentemente i pesi del modello
- Quale tecnica di analisi è alla base della ricerca delle teste che trasportano un vettore di funzione?
- Gradiente di discesa sulla perdita
- Ricerca del raggio
- Regolarizzazione dell'abbandono
- Analisi della mediazione causale
- Per cosa forniscono evidenza gli esperimenti sui vettori funzione?
- Alcuni modelli formano rappresentazioni interne riutilizzabili associate ai compiti
- Tutti i modelli linguistici memorizzano solo il testo
- Ogni modello ha un unico vettore di compito universale
- La tokenizzazione da sola determina ogni comportamento
- Perché i vettori di funzione sono interessanti per la ricerca di steering?
- Garantiscono un comportamento sicuro o corretto
- Offrono un intervento a livello di attivazione che può influenzare il comportamento del compito in contesti testati
- Eliminano i prompt per ogni applicazione
- Rendono tutte le decisioni del modello completamente trasparenti
- In quale parte del transformer il documento ha riportato forti effetti di vettori di funzione?
- Solo la tabella di embedding di input
- Solo i logit di output finali
- Strati intermedi nei modelli testati
- Il vocabolario del tokenizzatore
- Cosa è successo quando i ricercatori hanno sommato alcuni vettori di funzione?
- I vettori si annullavano sempre a zero
- I pesi del modello venivano aggiornati permanentemente
- Ogni possibile compito veniva composto perfettamente
- Alcune combinazioni hanno attivato nuovi compiti complessi negli esperimenti testati