가이드 연계 퀴즈 · 하드 레벨

XLNet 순열 모델링 퀴즈

순열 분해, 2-스트림 어텐션, Transformer-XL 재발 및 벤치마크 클레임이 비교 설정에 따라 어떻게 달라지는지 확인합니다.

관련 가이드 경로Xlnet 순열 모델링
질문 1 의 8

XLNet은 어떤 사전 훈련 목표를 사용합니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. XLNet은 어떤 사전 훈련 목표를 사용합니까?
    • 순열 언어 모델링
    • 마스크된 언어 모델링
    • 대체된 토큰 감지
    • 다음 문장 예측
  2. XLNet은 어떤 BERT 약점을 해결하기 위해 특별히 설계되었습니까?
    • BERT가 너무 작았습니다.
    • [MASK] 토큰은 사전 훈련/미세 조정 불일치를 일으키고 마스크된 토큰 독립성을 가정합니다.
    • BERT는 짧은 문장을 처리할 수 없습니다.
    • BERT에는 위치 인코딩이 부족했습니다.
  3. XLNet의 2스트림 self-attention은 무엇을 분리합니까?
    • 인코더 및 디코더 레이어
    • 훈련 및 추론 그래프
    • 콘텐츠 스트림과 쿼리 스트림
    • 토큰 및 문장 임베딩
  4. XLNet은 문장의 단어를 물리적으로 섞나요?
    • 예, 실제 토큰을 무작위로 재정렬합니다.
    • 예, 하지만 미세 조정 중에만 가능합니다.
    • 아니요, 순서가 전혀 변경되지 않습니다.
    • 아니요, 위치를 유지하면서 주의 마스크를 사용하여 인수분해 순서를 변경합니다.
  5. 장거리 컨텍스트를 위한 XLNet의 백본 역할을 하는 아키텍처는 무엇입니까?
    • 트랜스포머-XL
    • LSTM
    • 오리지널 바닐라 트랜스포머
    • 컨벌루션 네트워크
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content