Útmutatóhoz kapcsolódó kvíz · Közepes Szint
RoBERTa Képzési Recept kvíz
Review RoBERTa’s masking, pretraining objectives, data scale, tokenizer, multilingual variant, and lessons about controlled model comparisons.
kérdés 1 -ból 8
Mi volt RoBERTa fő meglátása az eredeti BERT-ről?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi volt RoBERTa fő meglátása az eredeti BERT-ről?
- A BERT architektúrája alapvetően hibás volt
- A BERT túl sok paramétert használt
- A BERT jelentősen alulképzett volt
- A BERT-nek dekódert kellett hozzáadnia
- Melyik BERT-célt távolította el RoBERTa?
- A következő mondat előrejelzése
- Maszkos nyelvi modellezés
- Token osztályozás
- Csere tokenészlelés
- Mi a dinamikus maszkolás a RoBERTában?
- Csak a korpusz legritkább szavait takarja el
- Egész mondatok elfedése egyszerre
- Soha ne takarja el ugyanazt a tokent kétszer egy korpuszban
- Új maszkminta generálása minden alkalommal, amikor egy sorozat látható
- Hogyan viszonyultak RoBERTa edzési adatai a BERT-hez?
- Ugyanazt a 16 GB-os szöveget használta
- Nagyjából 160 GB-ot használt, körülbelül 10-szer többet
- Kevesebb adatot, de tisztább címkéket használt
- Csak a Wikipédiát használta
- Melyik szervezet adta ki a RoBERTát?
- Facebook AI (Meta)
- Google MI
- OpenAI
- Microsoft Kutatás
- Hogy hívják a RoBERTa többnyelvű változatát?
- mBERT
- RoBERTa-XL
- XLM-R (XLM-RoBERTa)
- PolyRoBERTa
- Which text encoding did the RoBERTa recipe use according to the guide?
- A fixed vocabulary of complete words only
- Byte-level byte-pair encoding
- One image patch per token
- A phoneme-only vocabulary
- A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
- Architecture changes always explain every improvement
- Training duration can be ignored if the benchmark is the same
- Data volume cannot affect an encoder
- Training choices can account for gains, so they must be considered when comparing models