마스크된 언어 모델링 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. Masked Language Modeling의 핵심 학습과제는 무엇인가요?
   • 주변 상황에서 의도적으로 숨겨진 단어를 예측합니다.
   • 문장 뒤의 다음 단어 예측하기
   • 두 언어 간 텍스트 번역
   • 문법적 정확성에 따른 문장 순위 지정
2. 사전 훈련 중에 BERT는 일반적으로 대략 몇 퍼센트의 토큰을 마스킹합니까?
   • 약 50%
   • 약 15%
   • 약 1%
   • 약 90%
3. MLM이 모델에 양방향 이해를 제공하는 이유는 무엇입니까?
   • 문장을 거꾸로 읽는다
   • 두 가지 별도의 모델을 사용합니다.
   • 각 토큰은 왼쪽과 오른쪽의 단어에 주의를 기울입니다.
   • 이전 단어만 봅니다.
4. BERT의 마스킹 방식에서 선택된 직책의 약 10%가 [MASK]가 되는 대신 어떻게 되나요?
   • 완전히 삭제됩니다.
   • 중복되어 있습니다.
   • 대문자로 표시됩니다.
   • 임의의 단어로 대체됩니다.
5. MLM 손실은 어느 위치에서 계산됩니까?
   • 마스크된 위치만
   • 문장의 모든 토큰
   • 첫 번째와 마지막 토큰만
   • 구두점 토큰만
6. 다음 토큰 예측과 비교하여 MLM은 무엇을 교환합니까?
   • 상황을 활용하는 능력
   • 왼쪽에서 오른쪽으로 유창한 텍스트를 생성하는 기능
   • 어휘에 대한 접근
   • 주의의 사용
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction