Test legat de ghid · Mediu Nivel
Test-Time Training Test
Comparați adaptarea la timpul testului și straturile de secvență TTT, inclusiv pierderile auto-supravegheate, stările interne ale modelului, scalarea liniară și învățarea în buclă exterioară.
Întrebare 1 de 8
Ce se întâmplă în procedura clasică de adaptare a antrenamentului la timpul testului citată înainte de predicția principală?
Previzualizează fiecare întrebare8 întrebări
Răspunsurile și explicațiile apar pe măsură ce susțineți testul.
- Ce se întâmplă în procedura clasică de adaptare a antrenamentului la timpul testului citată înainte de predicția principală?
- Eticheta necunoscută a sarcinii principale este furnizată ca țintă corectă de antrenament
- Modelul trebuie să ștergă toți parametrii
- Fiecare exemplu de antrenament anterior este reîncărcat fără adaptare
- Parametrii modelului sunt actualizați utilizând eșantionul neetichetat primit
- De ce TTT clasic se bazează pe o sarcină auxiliară autosupravegheată?
- Pentru că autosupravegherea este întotdeauna mai precisă decât sarcina principală
- Deoarece etichetele nu sunt disponibile la momentul testării, are nevoie de o pierdere pe care o poate calcula fără ele
- Pentru că elimină nevoia oricărei rețele neuronale
- Pentru a cripta datele de testare
- Ce formează starea ascunsă recurentă a unui strat de secvență TTT?
- Parametrii unui model interior actualizați prin învățare
- Doar un nume de fișier de intrare brut neschimbat
- O listă obligatorie a tuturor matricelor anterioare de atenție completă
- Vocabularul sortat alfabetic
- Sub dimensiunile interioare fixe ale modelului și funcționarea de actualizare, cum se scalează complexitatea stratului de secvență TTT cu lungimea secvenței?
- Quadratic pentru fiecare implementare posibilă
- Independent de procesarea oricăror jetoane
- Linear în lungimea secvenței
- Exponențial, pentru că fiecare jeton se reantrenează din toate secvențele posibile
- Ce problemă a motivat studiul clasic de adaptare la timpul testului citat?
- O cerință de a mări dimensiunea alfabetului
- O diferență între distribuțiile de intrare de antrenament și de testare
- O garanție că toate intrările de implementare se potrivesc cu formarea
- Este necesar să sortați mai rapid numele fișierelor sursă
- De ce o scădere a unei pierderi de adaptare auxiliară este insuficientă în sine pentru a stabili o actualizare de succes a sarcinii principale?
- Fiecare pierdere auxiliară este precizia necunoscută a etichetei principale
- O valoare a pierderii dovedește siguranța perfectă pentru fiecare probă viitoare
- Obiectivul auxiliar și măsura de predicție intenționată sunt diferite
- O sarcină auxiliară nu poate fi calculată pe o intrare fără etichetă
- Ce modele interioare disting variantele de strat TTT-Linear și TTT-MLP studiate?
- Un arbore de decizie și un tokenizer de imagine obligatoriu
- Două copii ale aceluiași dicționar fix fără parametri
- O matrice de atenție istorică completă și un index alfabetic
- Un model liniar și un perceptron multistrat cu două straturi
- În cadrul stratului de secvență, care buclă învață parametrii care definesc sarcina interioară auto-supravegheată?
- Bucla exterioară de antrenament
- Doar eticheta necunoscută pentru viitorul test
- O modificare manuală a dicționarului obligatorie la fiecare simbol
- Nicio buclă nu poate învăța parametrii sarcinii