Gids-gekoppelde quiz · Middelmatig Niveau

RoBERTa Training Receptenquiz

Bekijk RoBERTa's maskering, voortrainingsdoelstellingen, dataschaal, tokenizer, meertalige variant en lessen over gecontroleerde modelvergelijkingen.

Gerelateerde gidspadenRoberta-trainingsrecept
Vraag 1 van 8

Wat was RoBERTa's belangrijkste inzicht over de oorspronkelijke BERT?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat was RoBERTa's belangrijkste inzicht over de oorspronkelijke BERT?
    • De architectuur van BERT was fundamenteel gebrekkig
    • BERT heeft te veel parameters gebruikt
    • BERT was aanzienlijk ondertraind
    • BERT had een decoder nodig
  2. Welke BERT-doelstelling heeft RoBERTa verwijderd?
    • Voorspelling van de volgende zin
    • Gemaskerde taalmodellering
    • Token-classificatie
    • Tokendetectie vervangen
  3. Wat is dynamische maskering in RoBERTa?
    • Alleen de zeldzaamste woorden in het corpus worden gemaskeerd
    • Hele zinnen in één keer maskeren
    • Nooit twee keer hetzelfde token in een corpus maskeren
    • Het genereren van een nieuw maskerpatroon telkens wanneer een reeks wordt gezien
  4. Hoe verhouden de trainingsgegevens van RoBERTa zich tot die van BERT?
    • Het gebruikte dezelfde 16 GB aan tekst
    • Het gebruikte ongeveer 160 GB, ongeveer 10x meer
    • Het gebruikte minder gegevens, maar schonere labels
    • Er werd alleen gebruik gemaakt van Wikipedia
  5. Welke organisatie heeft RoBERTa vrijgegeven?
    • Facebook-AI (Meta)
    • GoogleAI
    • OpenAI
    • Microsoft Onderzoek
  6. Hoe heet de meertalige versie van RoBERTa?
    • mBERT
    • RoBERTa-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERTa
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models