가이드 연계 퀴즈 · 중간 레벨
ALiBi 위치 편향 퀴즈
ALiBi가 어떻게 거리 기반 주의 편향을 추가하고 학습된 절대 위치 테이블 없이 더 긴 추론 시퀀스를 지원하는지 확인하세요.
질문 1 의 8
ALiBi는 무엇을 의미하나요?
모든 질문 미리보기8 질문
퀴즈를 풀면 정답과 설명이 나타납니다.
- ALiBi는 무엇을 의미하나요?
- 선형 편향에 대한 주의
- 적응형 선형 바이어스
- 정렬된 양방향 인코딩
- 절대 선형 인덱싱
- ALiBi는 멀리 있는 토큰에 어떻게 불이익을 주나요?
- 고정 창 너머의 임베딩을 제로화하여
- 쿼리와 키 위치 사이의 거리에 비례하여 페널티를 추가하여
- 포지션마다 별도의 임베딩을 학습하여
- 쿼리와 키 벡터를 회전하여
- ALiBi의 가장 유명한 실질적인 이점은 무엇입니까?
- Softmax가 필요하지 않습니다.
- 그것은 지속적인 기억 속에 주의를 집중하게 만든다.
- 훈련에서 볼 수 있는 것보다 더 긴 시퀀스에 대해 잘 추정합니다.
- 여러 주의 헤드가 필요하지 않습니다.
- 어텐션 헤드에 걸친 선형 편향의 차이점은 무엇입니까?
- 각 헤드는 정확히 동일한 경사를 공유합니다.
- 슬로프는 훈련 중에 학습됩니다.
- 첫 번째 머리만 편향을 받습니다.
- 각 머리는 고유한 고정 경사를 가지며 기하학적 순서를 형성합니다.
- 전통적인 위치 임베딩과 비교하여 ALiBi는 얼마나 많은 학습된 매개변수를 추가합니까?
- 없음 — 편향 기울기가 고정되어 있으며 학습되지 않습니다.
- 포지션당 1개
- 토큰당 하나
- 관심 헤드당 2개
- 위치 정보를 위해 ALiBi를 사용한 잘 알려진 대형 모델은 무엇입니까?
- GPT-2
- 블룸
- 버트
- Word2Vec
- At what stage does ALiBi apply its distance-based bias?
- To token IDs before they enter the embedding table
- To the final vocabulary probabilities after decoding
- To query-key attention scores before the softmax
- To the training labels after loss calculation
- Why can ALiBi support inference on sequences longer than those used in training?
- It removes the need for attention at longer lengths
- It automatically retrains the model while generating
- It stores a complete answer for every possible sequence length
- Its distance-based bias does not require a separately learned embedding for every absolute position