교차주의 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 셀프 어텐션과 크로스 어텐션의 주요 차이점은 무엇인가요?
   • Cross-Attention에서는 쿼리가 한 시퀀스에서 나오고 키/값은 다른 시퀀스에서 옵니다.
   • 교차 어텐션은 소프트맥스를 사용하지 않습니다.
   • Self Attention은 이미지에서만 작동합니다.
   • 경사하강법으로는 교차주의를 훈련할 수 없습니다.
2. 인코더-디코더 Transformer에서 Cross-Attention에 대한 쿼리는 어디에서 발생합니까?
   • 인코더의 출력
   • 디코더의 현재 상태
   • 원시 입력 임베딩만
   • 별도의 랜덤 매트릭스
3. Cross-Attention의 두 시퀀스가 길이나 양상이 다른 이유는 무엇입니까?
   • 주의에는 동일한 길이의 입력이 필요하기 때문에
   • 시퀀스 중 하나를 완전히 무시하기 때문에
   • 쿼리와 키는 서로 다른 독립적인 소스에서 나오므로
   • 먼저 모든 것을 고정된 크기로 채우기 때문에
4. Stable Diffusion은 교차 어텐션을 어떻게 사용합니까?
   • 이미지를 더 작은 파일로 압축하려면
   • 언어 간 텍스트를 번역하려면
   • 오디오에서 잡음을 제거하려면
   • 텍스트 프롬프트에서 생성된 이미지 영역을 조건 지정하려면
5. 교차 어텐션은 셀프 어텐션과 어떤 수학 연산을 공유합니까?
   • 소프트맥스를 사용한 확장된 내적 주의
   • 픽셀에 대한 컨볼루션
   • 반복적인 상태 업데이트
   • 하드 코딩된 조회 테이블
6. What gate does Flamingo use to control information flow through its cross-attention layers?
   • A hard threshold initialized to one
   • A tanh gate initialized to zero
   • A fixed residual weight of 0.5
   • A learned vocabulary lookup table
7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
   • Only one image followed by a fixed-length label
   • Only text tokens with no visual inputs
   • Visual and textual data interleaved in arbitrary sequences
   • Only video frames with no text
8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
   • It replaces all text tokens with pixels
   • It prevents any information from passing between modalities
   • It performs only image resizing
   • It lets language-model layers incorporate visual features from image/video inputs