선형 주의 및 수행자 커널 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 표준 소프트맥스 어텐션이 시퀀스 길이에 따라 제대로 확장되지 않는 이유는 무엇입니까?
   • 시간과 메모리는 시퀀스 길이의 제곱에 따라 증가합니다.
   • 모든 토큰을 알파벳순으로 정렬해야 합니다.
   • 한 번에 하나의 토큰만 처리할 수 있습니다.
   • 토큰별로 별도의 신경망이 필요합니다.
2. 선형 주의가 nxn 행렬을 피할 수 있게 해주는 수학적 특성은 무엇입니까?
   • 덧셈의 교환성
   • 행렬 곱셈의 연관성
   • 소프트맥스의 분배 법칙
   • 고유값 분해
3. Performer의 FAVOR+ 메커니즘은 대략 무엇입니까?
   • 경사하강법 업데이트
   • 토크나이저 어휘
   • 소프트맥스 어텐션 커널
   • 레이어 정규화 통계
4. Performer가 이전 삼각함수 기능 대신 양수 무작위 기능을 사용하는 이유는 무엇입니까?
   • CPU에서만 더 빠르게 실행됩니다.
   • 임의성이 필요하지 않습니다.
   • 모델을 완전히 해석 가능하게 만듭니다.
   • 음수가 아닌 주의 가중치를 보장하고 수치적 안정성을 향상시킵니다.
5. 시퀀스 길이 n에서 수행자 스타일 선형 주의의 대략적인 복잡성은 얼마입니까?
   • 오(엔)
   • 오(n^2)
   • O(n 로그 n)
   • 오(2^n)
6. 전체 소프트맥스 어텐션에 비해 순수 선형 어텐션의 일반적인 제한 사항은 무엇인가요?
   • GPU에서는 실행할 수 없습니다.
   • 종종 약간 낮은 모델링 품질을 달성합니다.
   • 이미지에만 작동합니다
   • 모든 토큰에 대해 레이블이 지정된 데이터가 필요합니다.
7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
   • Compute QK^T and store every pairwise score
   • Apply softmax to the full n-by-n matrix first
   • Compute phi(K)^T V before multiplying by phi(Q)
   • Multiply the final output by the sequence length
8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
   • It guarantees exact softmax for every sequence
   • It removes the need for query and key vectors
   • It makes attention quadratic in sequence length
   • It reduces variance in the random-feature estimate