희소 주의 패턴 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 긴 시퀀스에서 전체 셀프 어텐션이 비용이 많이 드는 이유는 무엇입니까?
   • 비용은 시퀀스 길이의 제곱에 따라 증가합니다.
   • GPU를 사용할 수 없습니다.
   • 짧은 단어에만 작동합니다.
   • 메모리가 전혀 필요하지 않습니다.
2. 슬라이딩 윈도우(로컬) 어텐션이란 무엇입니까?
   • 각 토큰은 무작위 데이터베이스에 참여합니다.
   • 각 토큰은 가까운 이웃에만 참석합니다.
   • 토큰은 어떤 것에도 관여하지 않습니다.
   • 각 토큰은 모든 토큰에 두 번 참여합니다.
3. 희소한 관심 속에 '글로벌 토큰'의 목적은 무엇인가?
   • 모델 속도를 늦추려면
   • 이미지를 저장하려면
   • 모든 것에 주의를 기울이고 모든 것에 주의를 기울이는 허브 역할을 하기 위해
   • 용어를 대체하려면
4. 랜덤, 윈도우, 글로벌 어텐션을 결합하면 풀 어텐션 표현력이 유지됨을 입증한 모델은 무엇인가요?
   • 레스넷
   • Word2Vec
   • 알렉스넷
   • 빅버드
5. 잘 설계된 희소 관심에서 연결 수는 대략 어떻게 확장됩니까?
   • 시퀀스 길이에 따라 대략 선형적으로
   • 시퀀스 길이에 따른 이차적
   • 길이에 구애받지 않습니다
   • 시퀀스 길이에 따라 기하급수적으로
6. What do strided or dilated sparse-attention patterns allow?
   • 이를 계산한 다음 0으로 설정합니다.
   • Skip ahead to reach distant context with fewer attention links
   • 다른 서버로 보냅니다.
   • 영구적으로 저장합니다.
7. How does Longformer combine local and global attention?
   • Every token attends to every other token
   • Only random edges are allowed
   • Most tokens use a sliding local window, while selected global tokens connect across the sequence
   • Each token attends only to the final token
8. What is the goal of learned, content-based sparse attention?
   • A full dense connection to every token
   • A rule for removing all future tokens
   • A learned vocabulary for each attention head
   • Avoid spending attention compute and memory on content unrelated to the current query