Quiz collegato alla guida · Medio Livello
Logit Lens e Quiz sull'obiettivo ottimizzato
Controlla le letture dello strato intermedio, la struttura del flusso residuo, il traduttore della lente sintonizzata e le limitazioni della lente logit grezza.
Domanda 1 di 8
Cosa fa la lente logit?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa fa la lente logit?
- Applica l'incorporamento finale del modello agli stati nascosti intermedi per leggere le previsioni per livello
- Aggiunge nuovi livelli a un trasformatore
- Distoglie l'attenzione dal modello
- Traduce tra le lingue umane
- Quale miglioramento chiave apporta la lente ottimizzata rispetto alla lente logit grezza?
- Utilizza un vocabolario più ampio
- Addestra una piccola mappa affine per strato per tradurre gli stati nascosti nella base finale
- Elimina la necessità di qualsiasi incorporamento
- Funziona solo su modelli di immagine
- Quale struttura nei trasformatori rende possibili queste lenti?
- I filtri convoluzionali
- Il tokenizzatore
- Il flusso residuo additivo che il successivo annullamento dell'incorporamento proietta nei logit
- Il tasso di apprendimento dell'ottimizzatore
- Chi ha introdotto l'obiettivo logit originale e più o meno quando?
- DeepMind nel 2015
- OpenAI nel 2018
- Google nel 2012
- nostalgico nel 2020
- Dove spesso la lente logit mostra la risposta finale "cristallizzante"?
- Negli strati medio-tardivi
- Solo nel primo strato
- Mai, la risposta appare tutta in una volta
- Del tutto fuori dal modello
- Perché la lente logit grezza potrebbe essere inaffidabile nei primi strati?
- I primi strati non hanno neuroni
- I loro stati nascosti non sono ancora allineati con la base di output finale prevista dall’unembedding
- I primi strati non vengono mai utilizzati nella previsione
- La matrice di non incorporamento è casuale
- What does the model’s final unembedding map a residual-stream vector into?
- A new set of transformer layers
- A similarity graph over training examples
- Vocabulary logits that can be converted into token probabilities
- A gradient clipping threshold
- Why can an early-layer raw logit-lens prediction be misleading?
- The layer has already generated the full answer
- The tokenizer has been removed
- The unembedding only works on images
- The intermediate state may not yet be aligned with the final output basis