가이드 연계 퀴즈 · 하드 레벨

RWKV 선형 주의력 퀴즈

RWKV의 수용 게이트, 시간 소멸, 키/값 반복, 일정한 크기 상태 및 Transformer와 유사한 병렬 훈련 형식을 살펴보세요.

관련 가이드 경로Rwkv 선형 주의
질문 1 의 8

RWKV의 헤드라인 속성은 무엇입니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. RWKV의 헤드라인 속성은 무엇입니까?
    • Transformer처럼 훈련하지만 RNN처럼 추론을 실행합니다.
    • 이미지로만 학습 가능
    • 2차 키-값 캐시가 필요합니다.
    • 전혀 병렬화할 수 없습니다.
  2. RWKV의 문자는 무엇을 의미합니까?
    • 읽기, 쓰기, 보관, 확인
    • 수용, 무게, 키, 값
    • 재발성, 와이드, 커널, 벡터
    • 무작위, 가중, 지식, 변형
  3. RWKV는 생성 중에 메모리를 어떻게 일정하게 유지합니까?
    • 모델 가중치를 삭제하여
    • 모든 토큰을 디스크에 저장함으로써
    • 캐시를 늘리는 대신 작은 고정 크기의 숨겨진 상태를 전달함으로써
    • 출력을 10개의 토큰으로 제한함으로써
  4. 시간 감쇠 가중치(W)는 어떤 역할을 합니까?
    • 학습률을 설정합니다.
    • 토큰 수를 계산합니다.
    • 출력 언어를 선택합니다
    • 오래된 정보가 영향력을 잃는 속도를 제어합니다.
  5. 소프트맥스 어텐션과 비교하여 RWKV의 선형 어텐션 재발을 방지하는 것은 무엇입니까?
    • 2차 모든 쌍 토큰 비교
    • 키와 값의 모든 사용
    • 임베딩의 필요성
    • 신경망의 사용
  6. RWKV가 특히 스트리밍 생성에 적합한 이유는 무엇입니까?
    • 출력 전에 전체 입력을 확인해야 하기 때문에
    • 각각의 새 토큰은 이전 고정 크기 상태에만 의존하기 때문입니다.
    • 텍스트를 생성할 수 없기 때문에
    • 모든 토큰에 대해 GPU 클러스터가 필요하기 때문입니다.
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions