แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการเปิดใช้งานและวิศวกรรมการเป็นตัวแทน
ตรวจสอบว่าเวกเตอร์การบังคับเลี้ยวเปิดใช้งานถูกประมาณอย่างไร นำไปใช้ในการอนุมาน และปรับขนาด พร้อมกับความเสี่ยงจากลักษณะทั่วไปที่ขึ้นกับทันที
คำถาม 1 ของ 8
การสั่งงานพวงมาลัยจะเข้ามาแทรกแซงการทำงานของโมเดล ณ จุดใด
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การสั่งงานพวงมาลัยจะเข้ามาแทรกแซงการทำงานของโมเดล ณ จุดใด
- ณ เวลาอนุมาน โดยการแก้ไขการเปิดใช้งานที่ซ่อนอยู่
- ในช่วงเตรียมการเท่านั้น
- ระหว่างการรวบรวมข้อมูล
- หลังจากพิมพ์ข้อความเอาต์พุตแล้วเท่านั้น
- เวกเตอร์พวงมาลัยคำนวณโดยทั่วไปอย่างไร
- โดยการสุ่มเริ่มต้นเมทริกซ์
- เนื่องจากความแตกต่างเฉลี่ยระหว่างการเปิดใช้งานบนพรอมต์เชิงบวกและลบที่ตัดกัน
- โดยการลบเลเยอร์ออกจากโมเดล
- โดยการนับโทเค็นในพรอมต์
- สมมติฐานใดที่สนับสนุนว่าทำไมการเปิดใช้งานพวงมาลัยจึงทำงาน
- แนวคิดที่ว่าโมเดลเก็บข้อมูลเป็นข้อความธรรมดา
- ความเชื่อที่ว่าเซลล์ประสาททั้งหมดเหมือนกัน
- สมมติฐานการแสดงเชิงเส้นที่ว่าคุณลักษณะหลายอย่างมีทิศทางเชิงเส้นอย่างคร่าวๆ
- การอ้างว่าแบบจำลองไม่สามารถแสดงถึงแนวคิดได้
- ค่าสัมประสิทธิ์สเกลของการควบคุมเวกเตอร์พวงมาลัยเป็นเท่าใด
- ขนาดคำศัพท์ของโมเดล
- จำนวนชั้นในโมเดล
- อัตราการเรียนรู้การฝึกอบรม
- พฤติกรรมถูกผลักไปในทิศทางที่เลือกอย่างรุนแรงเพียงใด
- อะไรคือความเสี่ยงที่ทราบจากการบังคับเลี้ยวโมเดลอย่างดุดันเกินไป?
- ความสอดคล้องและความสามารถของเอาต์พุตสามารถลดลงได้
- โมเดลจะฝึกตัวเองโดยอัตโนมัติ
- ขนาดไฟล์ขยายใหญ่ขึ้นอย่างควบคุมไม่ได้
- มันจะเขียนน้ำหนักใหม่อย่างถาวร
- เทคนิคใดที่มักจะจับคู่กับการบังคับเลี้ยวเพื่อค้นหาคุณสมบัติที่สามารถตีความได้เพื่อยึดจับ
- การบีบอัด JPEG
- ตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายที่แยกการเปิดใช้งานออกเป็นฟีเจอร์ต่างๆ
- การจดทะเบียนชื่อโดเมน
- การจัดเรียงข้อมูลบนดิสก์
- How does activation steering differ from fine-tuning the model weights?
- It retrains the model on a new labeled dataset
- It changes the tokenizer vocabulary
- It adds a vector to hidden activations during inference without updating the base weights
- It replaces the attention layers with a classifier
- A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
- The vector must be an optimizer state
- Steering always requires fine-tuning
- A residual stream contains no features
- The direction found from one prompt set may not generalize to other contexts