Útmutatóhoz kapcsolódó kvíz · Közepes Szint

RoBERTa Képzési Recept kvíz

Review RoBERTa’s masking, pretraining objectives, data scale, tokenizer, multilingual variant, and lessons about controlled model comparisons.

Kapcsolódó útmutató utakRoberta edzés receptje
kérdés 1 -ból 8

Mi volt RoBERTa fő meglátása az eredeti BERT-ről?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi volt RoBERTa fő meglátása az eredeti BERT-ről?
    • A BERT architektúrája alapvetően hibás volt
    • A BERT túl sok paramétert használt
    • A BERT jelentősen alulképzett volt
    • A BERT-nek dekódert kellett hozzáadnia
  2. Melyik BERT-célt távolította el RoBERTa?
    • A következő mondat előrejelzése
    • Maszkos nyelvi modellezés
    • Token osztályozás
    • Csere tokenészlelés
  3. Mi a dinamikus maszkolás a RoBERTában?
    • Csak a korpusz legritkább szavait takarja el
    • Egész mondatok elfedése egyszerre
    • Soha ne takarja el ugyanazt a tokent kétszer egy korpuszban
    • Új maszkminta generálása minden alkalommal, amikor egy sorozat látható
  4. Hogyan viszonyultak RoBERTa edzési adatai a BERT-hez?
    • Ugyanazt a 16 GB-os szöveget használta
    • Nagyjából 160 GB-ot használt, körülbelül 10-szer többet
    • Kevesebb adatot, de tisztább címkéket használt
    • Csak a Wikipédiát használta
  5. Melyik szervezet adta ki a RoBERTát?
    • Facebook AI (Meta)
    • Google MI
    • OpenAI
    • Microsoft Kutatás
  6. Hogy hívják a RoBERTa többnyelvű változatát?
    • mBERT
    • RoBERTa-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERTa
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models