가이드 연계 퀴즈 · 중간 레벨

변압기 퀴즈의 유도 헤드

유도 접두사 일치, 선행 정보, 교차 계층 회로, 교육 관찰 및 상황 내 학습 메커니즘의 한계를 검토합니다.

관련 가이드 경로변압기의 유도 헤드
질문 1 의 8

인덕션 헤드는 기본적으로 어떤 규칙을 구현합니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 인덕션 헤드는 기본적으로 어떤 규칙을 구현합니까?
    • 언어에서 가장 빈번한 토큰을 예측합니다.
    • 항상 이전 토큰을 변경하지 않고 복사합니다.
    • 컨텍스트 토큰을 무작위로 섞습니다.
    • 앞서 [A][B]를 본 다음 [A]에서 다시 [B]를 예측하세요.
  2. What capability was linked to induction-head behavior in the cited 2022 study?
    • In-context learning in the examined models, with broader large-model claims framed as hypotheses
    • A proof that every form of reasoning uses only one identical circuit
    • Changing the tokenizer vocabulary during every prompt
    • Permanent weight updates whenever a repeated token appears
  3. 유도 회로에서 '이전 토큰 헤드'는 어떤 역할을 합니까?
    • 최종 소프트맥스를 생성합니다.
    • 위치정보를 제거합니다.
    • 일치가 발생할 수 있도록 각 토큰의 선행 정보를 복사합니다.
    • 주의 가중치를 정규화합니다.
  4. 표준 유도 회로에는 일반적으로 몇 개의 주의 헤드가 포함됩니까?
    • 정확히 하나
    • 2개, 여러 레이어에 걸쳐 구성
    • 단일 레이어에 수백
    • 제로; 피드포워드만 가능
  5. What training relationship did the induction-head study report in the models it examined?
    • Head formation coincided with changes in loss behavior and increased in-context learning
    • All heads were fully formed before any training
    • Induction behavior could only appear after every parameter was frozen forever
    • The same exact training transition must occur in every future model
  6. 인덕션 헤드가 가장 직접적으로 처리하는 작업은 무엇입니까?
    • 수치적 기울기 계산
    • 모델의 가중치 압축
    • 입력 프롬프트 암호화
    • 이전에 일치하는 토큰 뒤에 오는 항목을 복사하여 시퀀스 반복
  7. What roles do query-key matching and the output-value path play in the canonical induction circuit?
    • Query-key computations generate the final text filename; output-value computations train the tokenizer
    • Query-key computations select the matching context position; output-value computations promote the token information there
    • Both paths only count the total number of context words
    • The output-value path selects a position without any attention pattern
  8. Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
    • Yes; every architecture and prompt has already been causally tested
    • Yes; no other network computation can influence a prediction
    • No; the wider explanation remains a hypothesis needing model- and task-specific evidence
    • Only the number of parameters determines whether the proof is universal