가이드 연계 퀴즈 · 중간 레벨

RoBERTa 교육 레시피 퀴즈

RoBERTa의 마스킹, 사전 학습 목표, 데이터 규모, 토크나이저, 다국어 변형 및 제어된 모델 비교에 대한 강의를 검토하세요.

관련 가이드 경로로버타 트레이닝 레시피
질문 1 의 8

원래 BERT에 대한 RoBERTa의 주요 통찰력은 무엇이었나요?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 원래 BERT에 대한 RoBERTa의 주요 통찰력은 무엇이었나요?
    • BERT의 아키텍처에는 근본적으로 결함이 있었습니다.
    • BERT가 너무 많은 매개변수를 사용했습니다.
    • BERT는 상당히 훈련이 부족했습니다.
    • BERT에는 디코더를 추가해야 합니다.
  2. RoBERTa는 어떤 BERT 목표를 제거했나요?
    • 다음 문장 예측
    • 마스크된 언어 모델링
    • 토큰 분류
    • 대체된 토큰 감지
  3. RoBERTa의 동적 마스킹이란 무엇입니까?
    • 코퍼스에서 가장 희귀한 단어만 마스킹
    • 문장 전체를 한번에 마스킹하기
    • 코퍼스에서 동일한 토큰을 두 번 마스킹하지 마십시오.
    • 시퀀스가 보일 때마다 새로운 마스크 패턴 생성
  4. RoBERTa의 훈련 데이터는 BERT의 훈련 데이터와 어떻게 비교됩니까?
    • 동일한 16GB의 텍스트를 사용했습니다.
    • 약 160GB를 사용했는데, 약 10배 정도 더 많이 사용했습니다.
    • 데이터는 적게 사용했지만 라벨은 더 깨끗했습니다.
    • Wikipedia만 사용했습니다.
  5. RoBERTa를 출시한 조직은 어디인가요?
    • 페이스북 AI(Meta)
    • Google AI
    • OpenAI
    • Microsoft 연구
  6. RoBERTa의 다국어 버전은 무엇입니까?
    • 엠버트
    • 로버타-XL
    • XLM-R (XLM-로버타)
    • 폴리로버타
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models