Тест, свързан с ръководство · Среден Ниво

Тест с рецепти за обучение RoBERTa

Прегледайте маскирането на RoBERTa, целите за предварително обучение, мащаба на данните, токенизатора, многоезичния вариант и уроците за контролирани сравнения на модели.

Свързани ръководни пътекиРецепта за обучение на Роберта
Въпрос 1 на 8

Какво беше основното прозрение на RoBERTa за оригиналния BERT?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво беше основното прозрение на RoBERTa за оригиналния BERT?
    • Архитектурата на BERT беше фундаментално погрешна
    • BERT използва твърде много параметри
    • BERT беше значително недостатъчно обучен
    • BERT имаше нужда от добавен декодер
  2. Коя цел на BERT премахна RoBERTa?
    • Прогноза за следващото изречение
    • Моделиране на маскиран език
    • Класификация на токени
    • Заменено откриване на токени
  3. Какво представлява динамичното маскиране в RoBERTa?
    • Маскиране само на най-редките думи в корпуса
    • Маскиране на цели изречения наведнъж
    • Никога не маскирайте един и същ токен два пъти в корпус
    • Генериране на нов шаблон на маска всеки път, когато се види последователност
  4. Как се сравняват данните за обучението на RoBERTa с тези на BERT?
    • Използва същите 16 GB текст
    • Използваше приблизително 160 GB, около 10 пъти повече
    • Използва по-малко данни, но по-чисти етикети
    • Използваше само Wikipedia
  5. Коя организация пусна RoBERTa?
    • Facebook AI (Meta)
    • Google AI
    • OpenAI
    • Microsoft Изследване
  6. Как се нарича многоезичната версия на RoBERTa?
    • mBERT
    • RoBERTa-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERTa
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models