Kvíz spojený s průvodcem · Těžko úroveň

Kvíz mechanismů pozornosti

Testujte pozornost dotaz-klíč-hodnota, škálování softmax, paralelní hlavy, náklady na hustou pozornost, výpočty vážených hodnot a kauzální maskování pro generování.

Související vodicí cestyMechanismy pozornosti
Otázka 1 z 8

Co kombinuje tokenová pozornost při tvorbě výstupní reprezentace?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co kombinuje tokenová pozornost při tvorbě výstupní reprezentace?
    • Trvalé kopie celé konverzace na disku
    • Informace o hodnotách z povolených pozic pomocí vypočtených vah
    • Pouze ručně vybraná klíčová slova bez naučených skóre
    • Překladový slovník, který odstraňuje každý druhý token
  2. Který mezník z roku 2017 představil architekturu transformátoru?
    • „Hluboké zbytkové učení pro rozpoznávání obrazu“
    • „Hraní Atari s hlubokým posilovacím učením“
    • „Pozornost je vše, co potřebujete“
    • 'Generative Adversarial Networks'
  3. Jaké jsou tři vektory vypočtené pro každý token v pozornosti?
    • Dotaz, klíč a hodnota
    • Vstup, výstup a zkreslení
    • Průměr, medián a režim
    • Kodér, dekodér a ztráta
  4. Proč ve vzorci softmax(QK^T / √d_k) V dělit √d_k?
    • Chcete-li převést výsledek na celá čísla
    • Chcete-li odstranit záporná čísla
    • Aby model běžel na GPU
    • Aby se skóre bodového produktu před softmaxem příliš nezvětšovalo
  5. Proč hustá samopozornost zahrnuje rostoucí párovou práci u velmi dlouhých sekvencí tokenů?
    • Protože musí stahovat nová data z internetu
    • Protože delší text vždy obsahuje vzácnější slova
    • Protože náklady rostou s druhou mocninou délky sekvence (O(n²))
    • Protože se přepne na pomalejší programovací jazyk
  6. Jakou kapacitu poskytuje multi-head attention prostřednictvím samostatných naučených projekcí?
    • Záruka, že každá hlava má jeden jedinečný pojmenovaný význam
    • Několik reprezentací pozornosti, které mohou paralelně zachytit různé vztahy
    • Odstranění každého tokenového vkladu
    • Redukce velikosti slovníku definicí
  7. V příkladu skalární pozornosti dostanou hodnoty dva a šest vah tři čtvrtiny a jedna čtvrtina. Jaký je jejich vážený výstup?
    • Osm
    • Čtyři
    • Dvě
    • tři
  8. Co zabraňuje kauzální maska pozornosti v autoregresním dekodéru textu?
    • Používání pozdějších pozic tokenů při vytváření reprezentace aktuální pozice
    • Používání libovolného předchozího tokenu
    • Výpočet libovolných vektorů dotazu nebo klíče
    • Učení všech parametrů modelu