Kvíz spojený s průvodcem · Střední úroveň
Kvíz s recepty na školení RoBERTa
Projděte si maskování RoBERTA, cíle předběžného školení, měřítko dat, tokenizér, vícejazyčnou variantu a lekce o řízených porovnávání modelů.
Otázka 1 z 8
Jaký byl hlavní poznatek RoBERTA o původním BERTu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký byl hlavní poznatek RoBERTA o původním BERTu?
- Architektura BERT byla zásadně chybná
- BERT použil příliš mnoho parametrů
- BERT byl výrazně podtrénovaný
- BERT potřeboval přidat dekodér
- Který cíl BERT odstranil RoBERTa?
- Předpovídání další věty
- Modelování maskovaného jazyka
- Klasifikace tokenů
- Nahrazena detekce tokenů
- Co je dynamické maskování v RoBERTa?
- Maskování pouze nejvzácnějších slov v korpusu
- Maskování celých vět najednou
- Nikdy nemaskování stejného tokenu v korpusu dvakrát
- Generování nového vzoru masky při každém zobrazení sekvence
- Jaká byla tréninková data RoBERTa ve srovnání s BERT?
- Bylo použito stejných 16 GB textu
- Využilo to zhruba 160 GB, asi 10x více
- Použilo méně dat, ale čistší štítky
- Používala pouze Wikipedii
- Která organizace vydala RoBERTa?
- Facebook AI (Meta)
- AI od Google
- OpenAI
- Microsoft Výzkum
- Jak se nazývá vícejazyčná verze RoBERTa?
- mBERT
- RoBERTa-XL
- XLM-R (XLM-RoBERTa)
- PolyRoBERTa
- Jaké kódování textu použil recept RoBERTa podle návodu?
- Pevná slovní zásoba pouze úplných slov
- Kódování bytových párů na úrovni bajtů
- Jedna oprava obrázku na token
- Slovní zásoba pouze pro fonémy
- Výzkumník připisuje novou vrstvu, která poráží BERT, ale také mění objem dat a délku tréninku. Na jaké lekci od RoBERTa záleží?
- Změny architektury vždy vysvětlují každé zlepšení
- Trvání tréninku může být ignorováno, pokud je benchmark stejný
- Objem dat nemůže ovlivnit kodér
- Volby školení mohou představovat zisky, takže je třeba je vzít v úvahu při porovnávání modelů