Kvíz spojený s průvodcem · Střední úroveň

Kvíz s recepty na školení RoBERTa

Projděte si maskování RoBERTA, cíle předběžného školení, měřítko dat, tokenizér, vícejazyčnou variantu a lekce o řízených porovnávání modelů.

Související vodicí cestyRoberta tréninkový recept
Otázka 1 z 8

Jaký byl hlavní poznatek RoBERTA o původním BERTu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký byl hlavní poznatek RoBERTA o původním BERTu?
    • Architektura BERT byla zásadně chybná
    • BERT použil příliš mnoho parametrů
    • BERT byl výrazně podtrénovaný
    • BERT potřeboval přidat dekodér
  2. Který cíl BERT odstranil RoBERTa?
    • Předpovídání další věty
    • Modelování maskovaného jazyka
    • Klasifikace tokenů
    • Nahrazena detekce tokenů
  3. Co je dynamické maskování v RoBERTa?
    • Maskování pouze nejvzácnějších slov v korpusu
    • Maskování celých vět najednou
    • Nikdy nemaskování stejného tokenu v korpusu dvakrát
    • Generování nového vzoru masky při každém zobrazení sekvence
  4. Jaká byla tréninková data RoBERTa ve srovnání s BERT?
    • Bylo použito stejných 16 GB textu
    • Využilo to zhruba 160 GB, asi 10x více
    • Použilo méně dat, ale čistší štítky
    • Používala pouze Wikipedii
  5. Která organizace vydala RoBERTa?
    • Facebook AI (Meta)
    • AI od Google
    • OpenAI
    • Microsoft Výzkum
  6. Jak se nazývá vícejazyčná verze RoBERTa?
    • mBERT
    • RoBERTa-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERTa
  7. Jaké kódování textu použil recept RoBERTa podle návodu?
    • Pevná slovní zásoba pouze úplných slov
    • Kódování bytových párů na úrovni bajtů
    • Jedna oprava obrázku na token
    • Slovní zásoba pouze pro fonémy
  8. Výzkumník připisuje novou vrstvu, která poráží BERT, ale také mění objem dat a délku tréninku. Na jaké lekci od RoBERTa záleží?
    • Změny architektury vždy vysvětlují každé zlepšení
    • Trvání tréninku může být ignorováno, pokud je benchmark stejný
    • Objem dat nemůže ovlivnit kodér
    • Volby školení mohou představovat zisky, takže je třeba je vzít v úvahu při porovnávání modelů