แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

หัวเหนี่ยวนำในแบบทดสอบ Transformers

ตรวจสอบการจับคู่คำนำหน้าการเหนี่ยวนำ ข้อมูลรุ่นก่อน วงจรข้ามเลเยอร์ การสังเกตการฝึกอบรม และขีดจำกัดของกลไกการเรียนรู้ในบริบท

เส้นทางแนะนำที่เกี่ยวข้องหัวเหนี่ยวนำในหม้อแปลงไฟฟ้า
คำถาม 1 ของ 8

หัวเหนี่ยวนำใช้กฎอะไรเป็นหลัก?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. หัวเหนี่ยวนำใช้กฎอะไรเป็นหลัก?
    • ทำนายโทเค็นที่พบบ่อยที่สุดในภาษา
    • คัดลอกโทเค็นก่อนหน้าเสมอโดยไม่มีการเปลี่ยนแปลง
    • สุ่มสับเปลี่ยนโทเค็นบริบท
    • ดู [A][B] ก่อนหน้านี้ จากนั้นใน [A] ทำนายอีกครั้ง [B]
  2. What capability was linked to induction-head behavior in the cited 2022 study?
    • In-context learning in the examined models, with broader large-model claims framed as hypotheses
    • A proof that every form of reasoning uses only one identical circuit
    • Changing the tokenizer vocabulary during every prompt
    • Permanent weight updates whenever a repeated token appears
  3. 'โทเค็นก่อนหน้า' มีบทบาทอย่างไรในวงจรเหนี่ยวนำ
    • มันสร้างซอฟต์แม็กซ์สุดท้าย
    • มันจะลบข้อมูลตำแหน่ง
    • โดยจะคัดลอกข้อมูลก่อนหน้าของโทเค็นแต่ละรายการไปข้างหน้าเพื่อให้สามารถจับคู่ได้
    • มันทำให้น้ำหนักความสนใจเป็นปกติ
  4. โดยทั่วไปแล้วมีหัวความสนใจจำนวนเท่าใดที่เกี่ยวข้องกับวงจรเหนี่ยวนำแบบบัญญัติ
    • ตรงนั้นอันหนึ่ง
    • สองอันประกอบกันเป็นชั้น ๆ
    • หลายร้อยในชั้นเดียว
    • ศูนย์; มันเป็นฟีดไปข้างหน้าเท่านั้น
  5. What training relationship did the induction-head study report in the models it examined?
    • Head formation coincided with changes in loss behavior and increased in-context learning
    • All heads were fully formed before any training
    • Induction behavior could only appear after every parameter was frozen forever
    • The same exact training transition must occur in every future model
  6. หัวเหนี่ยวนำจะจัดการงานใดได้โดยตรงมากที่สุด?
    • การคำนวณการไล่ระดับสีเชิงตัวเลข
    • การบีบอัดน้ำหนักของโมเดล
    • กำลังเข้ารหัสพร้อมท์อินพุต
    • ทำซ้ำลำดับโดยคัดลอกสิ่งที่ตามมาด้วยโทเค็นที่ตรงกันก่อนหน้านี้
  7. What roles do query-key matching and the output-value path play in the canonical induction circuit?
    • Query-key computations generate the final text filename; output-value computations train the tokenizer
    • Query-key computations select the matching context position; output-value computations promote the token information there
    • Both paths only count the total number of context words
    • The output-value path selects a position without any attention pattern
  8. Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
    • Yes; every architecture and prompt has already been causally tested
    • Yes; no other network computation can influence a prediction
    • No; the wider explanation remains a hypothesis needing model- and task-specific evidence
    • Only the number of parameters determines whether the proof is universal