인코더-디코더 아키텍처 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 인코더-디코더 모델에서 인코더의 주요 역할은 무엇입니까?
   • 입력을 읽고 이를 풍부한 내부 표현으로 변환하려면
   • 한 번에 하나의 토큰 출력을 생성하려면
   • 확률을 기준으로 후보 출력의 순위를 매기려면
   • 모델의 훈련 데이터를 저장하려면
2. 디코더가 마스크된(인과적) self-attention을 사용하는 이유는 무엇입니까?
   • 인코더에서 입력을 숨기려면
   • 생성 중에 각 위치에서 향후 토큰을 볼 수 없도록 방지하기 위해
   • 출력을 더 적은 수의 토큰으로 압축하려면
   • 정규화를 위해 토큰을 무작위로 삭제하려면
3. 디코더를 인코더의 표현에 연결하는 메커니즘은 무엇입니까?
   • 탈락
   • 일괄 정규화
   • 교차주의
   • 위치 인코딩
4. 다음 중 인코더-디코더(시퀀스-시퀀스) 아키텍처는 무엇입니까?
   • GPT-3
   • 버트
   • Word2Vec
   • T5
5. 인코더-디코더 설계가 번역에 자연스럽게 적합한 이유는 무엇입니까?
   • 입력과 출력의 순서가 다르기 때문에 완전한 이해와 새로운 생성이 필요합니다.
   • 입력과 출력의 길이가 항상 같기 때문에
   • 새로운 텍스트를 생성할 필요가 없기 때문에
   • 주의를 완전히 사용하는 것을 피하기 때문입니다.
6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
   • Causal attention that hides all earlier source tokens
   • Bidirectional self-attention over the full source sequence
   • Cross-attention only to an image sequence
   • No attention mechanism
7. What training objective does BART use for pretraining?
   • It predicts only the next pixel in an image
   • It classifies each word into a fixed sentiment label
   • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
   • It performs speech recognition from raw audio
8. How does T5 frame many NLP tasks for one encoder-decoder model?
   • As image classification with a shared label set
   • As speech waveforms with no text tokens
   • As separate model architectures for each task
   • As text-to-text inputs and outputs with task descriptions in the input text