가이드 연계 퀴즈 · 중간 레벨

ELECTRA 사전 교육 퀴즈

교체된 토큰 감지, 생성자 및 판별자 역할, 토큰 위치 전반의 학습, 컴퓨팅 비교의 한계에 대해 설명합니다.

관련 가이드 경로일렉트라 사전 훈련
질문 1 의 8

ELECTRA는 마스크된 언어 모델링 대신 어떤 사전 훈련 작업을 사용합니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. ELECTRA는 마스크된 언어 모델링 대신 어떤 사전 훈련 작업을 사용합니까?
    • 대체된 토큰 감지
    • 다음 문장 예측
    • 자기회귀적 다음 단어 예측
    • 순열 언어 모델링
  2. ELECTRA가 BERT보다 컴퓨팅 효율성이 더 높은 이유는 무엇입니까?
    • 훨씬 더 작은 어휘를 사용합니다.
    • 마스크된 토큰뿐만 아니라 모든 토큰에 대한 학습 신호를 계산합니다.
    • 마스크된 15%의 토큰에서만 학습합니다.
    • 주의 메커니즘을 완전히 건너뜁니다.
  3. ELECTRA에서 소형 발전기 네트워크는 어떤 역할을 합니까?
    • 품질에 따라 최종 결과물의 순위를 매깁니다.
    • 훈련 후 모델을 압축합니다.
    • 판별자가 판단할 수 있는 그럴듯한 대체 토큰을 생성합니다.
    • 언어 간 텍스트를 번역합니다.
  4. 사전 훈련이 완료된 후 생성기는 어떻게 되나요?
    • 다운스트림 작업에 맞게 미세 조정되었습니다.
    • 판별자와 병합됩니다.
    • 세대를 위한 디코더가 된다
    • 폐기됩니다. 판별자만 사용
  5. ELECTRA는 주로 어느 기관의 연구자에 의해 개발되었습니까?
    • Google 및 스탠포드
    • Meta AI 및 NYU
    • OpenAI 및 Microsoft
    • 딥마인드와 옥스퍼드
  6. ELECTRA의 대체 토큰 감지 아이디어를 확장한 최신 모델은 무엇입니까?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting