แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบฟังก์ชันเวกเตอร์และการนำเสนองาน
ศึกษา วิธีการสกัดเวกเตอร์ฟังก์ชันจากหัว attention, การฉีดเข้า hidden states, และการทดสอบในหลายบริบทงาน
คำถาม 1 ของ 8
เวกเตอร์ฟังก์ชันเป็นตัวแทนอะไรในโมเดลภาษาที่ศึกษา
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เวกเตอร์ฟังก์ชันเป็นตัวแทนอะไรในโมเดลภาษาที่ศึกษา
- A compact activation-space representation associated with a demonstrated task
- The model’s full weight matrix
- A single token embedding in every setting
- The optimizer’s learning rate
- โดยทั่วไปแล้วฟังก์ชันเวกเตอร์จะถูกสร้างขึ้นมาอย่างไร?
- ด้วยการรวมคำที่ฝังอยู่ในคำศัพท์ทั้งหมด
- โดยการหาค่าเฉลี่ยผลลัพธ์ของความสนใจในงานเฉพาะเจาะจงมากกว่าตัวอย่างพร้อมท์
- โดยการปรับโมเดลอย่างละเอียดในตัวอย่างเดียว
- โดยการอ่านความน่าจะเป็นซอฟต์แม็กซ์สุดท้าย
- กระดาษฟังก์ชันเวกเตอร์สังเกตอะไรหลังจากฉีดเวกเตอร์ลงในพรอมต์ซีโร่ช็อต
- The model always crashed
- It guaranteed correct answers on any task
- It could trigger the associated task in the tested settings
- It permanently changed the model weights
- เทคนิคการวิเคราะห์ใดที่เป็นรากฐานในการค้นหาหัวที่มีเวกเตอร์ฟังก์ชัน
- ไล่ระดับโคตรเมื่อขาดทุน
- ค้นหาบีม
- การทำให้เป็นมาตรฐานกลางคัน
- การวิเคราะห์การไกล่เกลี่ยเชิงสาเหตุ
- การทดลองฟังก์ชัน-เวกเตอร์ให้หลักฐานอะไรบ้าง
- Some models form reusable internal representations associated with tasks
- All language models only memorize text
- Every model has one universal task vector
- Tokenization alone determines every behavior
- Why are function vectors interesting to steering research?
- They guarantee safe or correct behavior
- They provide an activation-level intervention that can influence task behavior in tested settings
- They eliminate prompts for every application
- They make all model decisions fully transparent
- At what part of the transformer did the paper report strong function-vector effects?
- Only the input embedding table
- Only the final output logits
- Middle layers in the tested models
- คำศัพท์โทเค็น
- What happened when researchers summed some function vectors?
- The vectors always canceled to zero
- The model’s weights were permanently updated
- Every possible task was composed perfectly
- Some combinations triggered new complex tasks in the tested experiments