แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบฟังก์ชันเวกเตอร์และการนำเสนองาน

ศึกษา วิธีการสกัดเวกเตอร์ฟังก์ชันจากหัว attention, การฉีดเข้า hidden states, และการทดสอบในหลายบริบทงาน

เส้นทางแนะนำที่เกี่ยวข้องเวกเตอร์ฟังก์ชันและการนำเสนองาน
คำถาม 1 ของ 8

เวกเตอร์ฟังก์ชันเป็นตัวแทนอะไรในโมเดลภาษาที่ศึกษา

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เวกเตอร์ฟังก์ชันเป็นตัวแทนอะไรในโมเดลภาษาที่ศึกษา
    • A compact activation-space representation associated with a demonstrated task
    • The model’s full weight matrix
    • A single token embedding in every setting
    • The optimizer’s learning rate
  2. โดยทั่วไปแล้วฟังก์ชันเวกเตอร์จะถูกสร้างขึ้นมาอย่างไร?
    • ด้วยการรวมคำที่ฝังอยู่ในคำศัพท์ทั้งหมด
    • โดยการหาค่าเฉลี่ยผลลัพธ์ของความสนใจในงานเฉพาะเจาะจงมากกว่าตัวอย่างพร้อมท์
    • โดยการปรับโมเดลอย่างละเอียดในตัวอย่างเดียว
    • โดยการอ่านความน่าจะเป็นซอฟต์แม็กซ์สุดท้าย
  3. กระดาษฟังก์ชันเวกเตอร์สังเกตอะไรหลังจากฉีดเวกเตอร์ลงในพรอมต์ซีโร่ช็อต
    • The model always crashed
    • It guaranteed correct answers on any task
    • It could trigger the associated task in the tested settings
    • It permanently changed the model weights
  4. เทคนิคการวิเคราะห์ใดที่เป็นรากฐานในการค้นหาหัวที่มีเวกเตอร์ฟังก์ชัน
    • ไล่ระดับโคตรเมื่อขาดทุน
    • ค้นหาบีม
    • การทำให้เป็นมาตรฐานกลางคัน
    • การวิเคราะห์การไกล่เกลี่ยเชิงสาเหตุ
  5. การทดลองฟังก์ชัน-เวกเตอร์ให้หลักฐานอะไรบ้าง
    • Some models form reusable internal representations associated with tasks
    • All language models only memorize text
    • Every model has one universal task vector
    • Tokenization alone determines every behavior
  6. Why are function vectors interesting to steering research?
    • They guarantee safe or correct behavior
    • They provide an activation-level intervention that can influence task behavior in tested settings
    • They eliminate prompts for every application
    • They make all model decisions fully transparent
  7. At what part of the transformer did the paper report strong function-vector effects?
    • Only the input embedding table
    • Only the final output logits
    • Middle layers in the tested models
    • คำศัพท์โทเค็น
  8. What happened when researchers summed some function vectors?
    • The vectors always canceled to zero
    • The model’s weights were permanently updated
    • Every possible task was composed perfectly
    • Some combinations triggered new complex tasks in the tested experiments