주의 메커니즘 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. 트랜스포머 아키텍처를 소개한 랜드마크 2017 논문은 무엇입니까?
   • '이미지 인식을 위한 심층 잔차 학습'
   • '심층 강화 학습으로 Atari 게임하기'
   • '당신에게 필요한 것은 관심뿐입니다'
   • '생성적 적대 네트워크'
3. 각 토큰에 대해 계산된 세 가지 벡터는 무엇입니까?
   • 쿼리, 키, 값
   • 입력, 출력 및 바이어스
   • 평균, 중앙값 및 최빈값
   • 인코더, 디코더 및 손실
4. 소프트맥스(QK^T / √d_k) V 공식에서 왜 √d_k로 나누나요?
   • 결과를 정수로 변환하려면
   • 음수를 제거하려면
   • 모델을 GPU에서 실행하려면
   • 소프트맥스 이전에 내적 점수가 너무 커지는 것을 방지하려면
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • 왜냐하면 인터넷에서 새로운 데이터를 다운로드해야 하기 때문입니다.
   • 긴 텍스트에는 항상 더 희귀한 단어가 포함되어 있기 때문입니다.
   • 시퀀스 길이(O(n²))의 제곱에 따라 비용이 증가하기 때문입니다.
   • 느린 프로그래밍 언어로 전환하기 때문에
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • 여덟
   • 4개
   • 2개
   • 세
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters