가이드 연계 퀴즈 · 하드 레벨

상태공간 모델과 맘바 퀴즈

상태 공간 시퀀스 복잡성, Mamba 선택성, 하드웨어 인식 스캔, 반복 추론 상태 및 하이브리드 모델을 테스트합니다.

관련 가이드 경로상태공간 모델과 Mamba
질문 1 의 8

표준 self-attention과 비교하여 상태 공간 모델은 시퀀스 길이에 따라 어떻게 확장됩니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 표준 self-attention과 비교하여 상태 공간 모델은 시퀀스 길이에 따라 어떻게 확장됩니까?
    • 선형적으로, 주의력의 2차 스케일링과 비교
    • 이차적으로, 주의 선형 스케일링과 비교
    • 둘 다 동일하게 확장됨
    • 둘 다 기하급수적으로
  2. Mamba가 S4와 같은 이전의 구조화된 SSM에 추가한 핵심 혁신은 무엇입니까?
    • 내부적으로 소프트맥스 어텐션 사용
    • 상태 업데이트 매개변수를 입력에 따라 결정(선택성)
    • 숨겨진 상태를 완전히 제거
    • 2차 시간 계산으로 전환
  3. Mamba에 맞춤형 하드웨어 인식 병렬 스캔이 필요한 이유는 무엇입니까?
    • GPU는 행렬 곱셈을 할 수 없기 때문에
    • 레이어 수를 줄이려면
    • 매개변수를 입력에 종속되게 만드는 것은 간단한 컨볼루션 트릭을 깨뜨리기 때문입니다.
    • 학습된 매개변수를 사용하지 않기 때문에
  4. 추론 중에 Mamba와 같은 SSM의 주요 효율성 이점은 다음을 사용한다는 것입니다.
    • KV 캐시처럼 전체 시퀀스 길이에 따라 증가하는 메모리
    • 전혀 기억이 나지 않음
    • 동일한 크기의 Transformer보다 더 많은 메모리
    • 생성된 토큰당 대략 일정한 메모리
  5. 전통적인 구조의 SSM(선택성 이전)에서는 다음과 같이 다시 작성할 수 있으므로 반복을 효율적으로 계산할 수 있습니다.
    • 긴 컨볼루션
    • 소프트맥스 연산
    • 의사결정 트리
    • 랜덤 포레스트
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • 더미
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation