Kvíz spojený s průvodcem · Těžko úroveň
Kvíz mechanismů pozornosti
Testujte pozornost dotaz-klíč-hodnota, škálování softmax, paralelní hlavy, náklady na hustou pozornost, výpočty vážených hodnot a kauzální maskování pro generování.
Otázka 1 z 8
Co kombinuje tokenová pozornost při tvorbě výstupní reprezentace?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co kombinuje tokenová pozornost při tvorbě výstupní reprezentace?
- Trvalé kopie celé konverzace na disku
- Informace o hodnotách z povolených pozic pomocí vypočtených vah
- Pouze ručně vybraná klíčová slova bez naučených skóre
- Překladový slovník, který odstraňuje každý druhý token
- Který mezník z roku 2017 představil architekturu transformátoru?
- „Hluboké zbytkové učení pro rozpoznávání obrazu“
- „Hraní Atari s hlubokým posilovacím učením“
- „Pozornost je vše, co potřebujete“
- 'Generative Adversarial Networks'
- Jaké jsou tři vektory vypočtené pro každý token v pozornosti?
- Dotaz, klíč a hodnota
- Vstup, výstup a zkreslení
- Průměr, medián a režim
- Kodér, dekodér a ztráta
- Proč ve vzorci softmax(QK^T / √d_k) V dělit √d_k?
- Chcete-li převést výsledek na celá čísla
- Chcete-li odstranit záporná čísla
- Aby model běžel na GPU
- Aby se skóre bodového produktu před softmaxem příliš nezvětšovalo
- Proč hustá samopozornost zahrnuje rostoucí párovou práci u velmi dlouhých sekvencí tokenů?
- Protože musí stahovat nová data z internetu
- Protože delší text vždy obsahuje vzácnější slova
- Protože náklady rostou s druhou mocninou délky sekvence (O(n²))
- Protože se přepne na pomalejší programovací jazyk
- Jakou kapacitu poskytuje multi-head attention prostřednictvím samostatných naučených projekcí?
- Záruka, že každá hlava má jeden jedinečný pojmenovaný význam
- Několik reprezentací pozornosti, které mohou paralelně zachytit různé vztahy
- Odstranění každého tokenového vkladu
- Redukce velikosti slovníku definicí
- V příkladu skalární pozornosti dostanou hodnoty dva a šest vah tři čtvrtiny a jedna čtvrtina. Jaký je jejich vážený výstup?
- Osm
- Čtyři
- Dvě
- tři
- Co zabraňuje kauzální maska pozornosti v autoregresním dekodéru textu?
- Používání pozdějších pozic tokenů při vytváření reprezentace aktuální pozice
- Používání libovolného předchozího tokenu
- Výpočet libovolných vektorů dotazu nebo klíče
- Učení všech parametrů modelu