Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Mapishi ya Mafunzo ya RoBERTa

Kagua ufichaji wa RoBERTa, malengo ya mafunzo ya awali, kiwango cha data, tokenizer, lahaja ya lugha nyingi, na masomo kuhusu ulinganishaji wa vielelezo vinavyodhibitiwa.

Njia za mwongozo zinazohusianaMapishi ya Mafunzo ya Roberta
Swali 1 ya 8

Je, ufahamu mkuu wa RoBERTa kuhusu BERT asili ulikuwa upi?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, ufahamu mkuu wa RoBERTa kuhusu BERT asili ulikuwa upi?
    • Usanifu wa BERT ulikuwa na dosari kimsingi
    • BERT ilitumia vigezo vingi sana
    • BERT haikufunzwa sana
    • BERT ilihitaji avkodare iongezwe
  2. RoBERTa aliondoa lengo gani la BERT?
    • Utabiri wa sentensi inayofuata
    • Muundo wa lugha uliofichwa
    • Uainishaji wa ishara
    • Ugunduzi wa tokeni uliobadilishwa
  3. Ni nini masking yenye nguvu katika RoBERTa?
    • Kuficha maneno adimu tu kwenye kundi
    • Kufunga sentensi nzima mara moja
    • Kamwe usifunge ishara moja mara mbili kwenye kundi
    • Inazalisha muundo mpya wa mask kila wakati mlolongo unaonekana
  4. Data ya mafunzo ya RoBERTa ililinganishwa vipi na ya BERT?
    • Ilitumia 16GB sawa ya maandishi
    • Ilitumia takriban 160GB, karibu mara 10 zaidi
    • Ilitumia data kidogo lakini lebo safi zaidi
    • Ilitumia Wikipedia pekee
  5. Shirika gani lilitoa RoBERTa?
    • Facebook AI (Meta)
    • AI ya Google
    • OpenAI
    • Microsoft Utafiti
  6. Toleo la lugha nyingi la RoBERTa linaitwaje?
    • MBERT
    • RoBERTa-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERTa
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models