Mamba 및 선택적 상태 공간 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 표준 Transformer에 비해 Mamba의 주요 계산 이점은 무엇입니까?
   • 2차식 대신 시퀀스 길이에 따라 선형적으로 확장됩니다.
   • 훈련 데이터가 필요하지 않습니다.
   • 이미지에서만 작동합니다.
   • 숨겨진 상태가 필요하지 않습니다.
2. Mamba에서 '선택적'이라는 단어는 무엇을 의미하나요?
   • 실행할 GPU를 선택합니다.
   • SSM 매개변수는 입력 토큰에 따라 다르므로 무엇을 기억하거나 잊어버릴지 선택할 수 있습니다.
   • 명사와 동사만 선택합니다.
   • 무시할 토큰의 무작위 하위 집합을 선택합니다.
3. 상태공간 모델은 시퀀스의 이력을 어떻게 표현합니까?
   • 모든 이전 토큰을 명시적으로 저장하여
   • 모든 쌍에 대해 주의 지도를 그려서
   • 히스토리를 고정된 크기의 숨겨진 상태로 압축하여 단계별로 업데이트됩니다.
   • 아무런 기록도 남기지 않습니다
4. 왜 Mamba는 이전 SSM이 사용했던 빠른 컨볼루션 단축키를 사용할 수 없나요?
   • GPU에서는 컨볼루션이 불법이기 때문입니다.
   • 매개변수가 없기 때문에
   • 토큰을 무작위로 처리하기 때문에
   • 매개변수를 입력 종속적으로 만들면 시불변 컨볼루션이 필요하므로 중단됩니다.
5. Mamba는 컨볼루션 지름길을 잃었음에도 불구하고 빠른 속도를 유지하기 위해 어떤 기술을 사용합니까?
   • 빠른 GPU 메모리에 유지되는 하드웨어 인식 병렬 스캔
   • 전적으로 CPU에서 실행
   • 모든 토큰 쌍 캐싱
   • 대부분의 시퀀스 건너뛰기
6. Mamba는 누가, 언제 소개했나요?
   • 2018년 OpenAI
   • 2023년 말 Albert Gu와 Tri Dao
   • 2015년 Google
   • 아무도 없습니다. 가정적입니다.
7. Which Mamba state-space parameters are made functions of the current input?
   • Only the fixed transition matrix A
   • The output vocabulary and tokenizer
   • B, C, and the step size delta
   • The attention query and key heads
8. What do the variable B, C, and delta parameters let Mamba do?
   • Build a growing key-value cache for every token
   • Route each token to an expert network only
   • Replace the state update with full all-pairs attention
   • Choose how much information to let into the state and how much to retain based on the input