Gids-gekoppelde quiz · Middelmatig Niveau
RoBERTa Training Receptenquiz
Bekijk RoBERTa's maskering, voortrainingsdoelstellingen, dataschaal, tokenizer, meertalige variant en lessen over gecontroleerde modelvergelijkingen.
Vraag 1 van 8
Wat was RoBERTa's belangrijkste inzicht over de oorspronkelijke BERT?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat was RoBERTa's belangrijkste inzicht over de oorspronkelijke BERT?
- De architectuur van BERT was fundamenteel gebrekkig
- BERT heeft te veel parameters gebruikt
- BERT was aanzienlijk ondertraind
- BERT had een decoder nodig
- Welke BERT-doelstelling heeft RoBERTa verwijderd?
- Voorspelling van de volgende zin
- Gemaskerde taalmodellering
- Token-classificatie
- Tokendetectie vervangen
- Wat is dynamische maskering in RoBERTa?
- Alleen de zeldzaamste woorden in het corpus worden gemaskeerd
- Hele zinnen in één keer maskeren
- Nooit twee keer hetzelfde token in een corpus maskeren
- Het genereren van een nieuw maskerpatroon telkens wanneer een reeks wordt gezien
- Hoe verhouden de trainingsgegevens van RoBERTa zich tot die van BERT?
- Het gebruikte dezelfde 16 GB aan tekst
- Het gebruikte ongeveer 160 GB, ongeveer 10x meer
- Het gebruikte minder gegevens, maar schonere labels
- Er werd alleen gebruik gemaakt van Wikipedia
- Welke organisatie heeft RoBERTa vrijgegeven?
- Facebook-AI (Meta)
- GoogleAI
- OpenAI
- Microsoft Onderzoek
- Hoe heet de meertalige versie van RoBERTa?
- mBERT
- RoBERTa-XL
- XLM-R (XLM-RoBERTa)
- PolyRoBERTa
- Which text encoding did the RoBERTa recipe use according to the guide?
- A fixed vocabulary of complete words only
- Byte-level byte-pair encoding
- One image patch per token
- A phoneme-only vocabulary
- A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
- Architecture changes always explain every improvement
- Training duration can be ignored if the benchmark is the same
- Data volume cannot affect an encoder
- Training choices can account for gains, so they must be considered when comparing models