Quiz collegato alla guida · Medio Livello

Logit Lens e Quiz sull'obiettivo ottimizzato

Controlla le letture dello strato intermedio, la struttura del flusso residuo, il traduttore della lente sintonizzata e le limitazioni della lente logit grezza.

Percorsi guida correlatiLente Logit e lente sintonizzata
Domanda 1 di 8

Cosa fa la lente logit?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa fa la lente logit?
    • Applica l'incorporamento finale del modello agli stati nascosti intermedi per leggere le previsioni per livello
    • Aggiunge nuovi livelli a un trasformatore
    • Distoglie l'attenzione dal modello
    • Traduce tra le lingue umane
  2. Quale miglioramento chiave apporta la lente ottimizzata rispetto alla lente logit grezza?
    • Utilizza un vocabolario più ampio
    • Addestra una piccola mappa affine per strato per tradurre gli stati nascosti nella base finale
    • Elimina la necessità di qualsiasi incorporamento
    • Funziona solo su modelli di immagine
  3. Quale struttura nei trasformatori rende possibili queste lenti?
    • I filtri convoluzionali
    • Il tokenizzatore
    • Il flusso residuo additivo che il successivo annullamento dell'incorporamento proietta nei logit
    • Il tasso di apprendimento dell'ottimizzatore
  4. Chi ha introdotto l'obiettivo logit originale e più o meno quando?
    • DeepMind nel 2015
    • OpenAI nel 2018
    • Google nel 2012
    • nostalgico nel 2020
  5. Dove spesso la lente logit mostra la risposta finale "cristallizzante"?
    • Negli strati medio-tardivi
    • Solo nel primo strato
    • Mai, la risposta appare tutta in una volta
    • Del tutto fuori dal modello
  6. Perché la lente logit grezza potrebbe essere inaffidabile nei primi strati?
    • I primi strati non hanno neuroni
    • I loro stati nascosti non sono ancora allineati con la base di output finale prevista dall’unembedding
    • I primi strati non vengono mai utilizzati nella previsione
    • La matrice di non incorporamento è casuale
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis