Maswali yanayounganishwa na mwongozo · Kati Kiwango

Lenzi ya Lojiti na Maswali ya Lenzi Iliyoratibiwa

Hukagua usomaji wa safu ya kati, muundo wa mtiririko wa mabaki, kitafsiri cha lenzi kilichoboreshwa na vikwazo vya lenzi ghafi ya kumbukumbu.

Njia za mwongozo zinazohusianaLogit Lens na Tuned Lens
Swali 1 ya 8

Je, lenzi ya kumbukumbu hufanya nini?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, lenzi ya kumbukumbu hufanya nini?
    • Hutumia upachikaji wa mwisho wa modeli kwenye majimbo yaliyofichwa ya kati ili kusoma utabiri kwa kila safu
    • Inaongeza tabaka mpya kwa kibadilishaji
    • Huondoa umakini kutoka kwa mfano
    • Tafsiri kati ya lugha za binadamu
  2. Je, lenzi iliyosomwa huongeza uboreshaji gani juu ya lenzi mbichi ya kumbukumbu?
    • Inatumia msamiati mkubwa zaidi
    • Inafunza ramani ndogo ya uunganisho wa kila safu ili kutafsiri majimbo yaliyofichwa katika msingi wa mwisho
    • Huondoa hitaji la upachikaji wowote
    • Inafanya kazi tu kwenye mifano ya picha
  3. Je, ni muundo gani katika transfoma hufanya lenses hizi ziwezekane?
    • Vichujio vya kubadilisha
    • Kiashiria
    • Mtiririko wa ziada wa mabaki ambao upachikaji hutengeneza baadaye kwenye kumbukumbu
    • Kiwango cha kujifunza cha kiboreshaji
  4. Nani alianzisha lenzi asili ya kumbukumbu, na takriban lini?
    • DeepMind mnamo 2015
    • OpenAI mwaka wa 2018
    • Google mwaka wa 2012
    • nostalgebraist mnamo 2020
  5. Je, lenzi ya kumbukumbu mara nyingi huonyesha wapi jibu la mwisho 'linaangaza'?
    • Katika tabaka za kati hadi marehemu
    • Tu katika safu ya kwanza kabisa
    • Kamwe, jibu linaonekana mara moja
    • Nje ya mfano kabisa
  6. Kwa nini lenzi mbichi ya kumbukumbu inaweza kuwa isiyotegemewa katika tabaka za mapema?
    • Tabaka za mapema hazina neurons
    • Majimbo yao yaliyofichwa bado hayajaoanishwa na msingi wa matokeo ambao upachikaji unatarajia
    • Tabaka za mapema hazitumiwi kamwe katika utabiri
    • Matrix ya upachikaji ni ya nasibu
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis