แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการประเมินคุณสมบัติการตรวจวัดเชิงเส้นและแช่แข็ง
ตรวจสอบว่าโพรบเชิงเส้นวัดค่าใด วิธีเปรียบเทียบชั้นที่แช่แข็ง และเหตุใดความแม่นยำของโพรบเพียงอย่างเดียวจึงไม่สามารถสร้างการใช้งานเชิงสาเหตุหรือความทนทานได้
คำถาม 1 ของ 8
ในโพรบเชิงเส้นมาตรฐาน พารามิเตอร์ใดที่ได้รับการอัปเดตระหว่างการฝึก
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ในโพรบเชิงเส้นมาตรฐาน พารามิเตอร์ใดที่ได้รับการอัปเดตระหว่างการฝึก
- เฉพาะตัวแยกประเภทเชิงเส้นที่เพิ่มใหม่ด้านบน
- กระดูกสันหลังทั้งหมดบวกกับเลเยอร์เชิงเส้น
- มีเพียงกระดูกสันหลังเท่านั้น ปล่อยให้ตัวแยกประเภทคงที่
- เลเยอร์การฝังและบล็อกความสนใจสุดท้าย
- What does high linear-probe accuracy most directly show?
- The backbone causally uses the feature for every prediction
- The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
- The representation is robust to every distribution shift
- The probe has identified a human-interpretable mechanism
- เมื่อเปรียบเทียบกับการปรับแบบละเอียดทั้งหมด การตรวจวัดเชิงเส้นมีความน่าสนใจเป็นหลัก เนื่องจาก:
- แม่นยำยิ่งขึ้นในทุกงาน
- รับประกันว่าจะสรุปผลการแจกแจงได้ดีขึ้น
- ถูกกว่าในด้านการคำนวณและหน่วยความจำ และให้การอ่านคุณภาพคุณสมบัติที่สะอาดยิ่งขึ้น
- วิธีเดียวที่จะใช้โมเดลที่ผ่านการฝึกอบรมมาแล้ว
- การค้นพบเชิงประจักษ์ทั่วไปเมื่อตรวจสอบหม้อแปลงคือ:
- ชั้นสุดท้ายจะให้ความแม่นยำของโพรบที่ดีที่สุดเสมอ
- การตรวจสอบใช้งานได้บนเครือข่ายแบบหมุนวนเท่านั้น
- การเลือกเลเยอร์จะไม่ส่งผลต่อผลลัพธ์ของโพรบ
- เลเยอร์ระดับกลางมักจะมีประสิทธิภาพดีกว่าเลเยอร์สุดท้ายในการถ่ายโอน
- นอกเหนือจากการเปรียบเทียบแล้ว โพรบเชิงเส้นยังถูกนำมาใช้มากขึ้นในการตีความเพื่อ:
- ตรวจสอบว่าแนวคิดเช่นความจริงถูกเข้ารหัสในสถานะที่ซ่อนอยู่หรือไม่
- บีบอัดโมเดลสำหรับการปรับใช้แบบเคลื่อนที่
- เปลี่ยนเครื่องมือเพิ่มประสิทธิภาพระหว่างการฝึกล่วงหน้า
- สร้างข้อมูลการฝึกอบรมใหม่โดยอัตโนมัติ
- ความเสี่ยงด้านระเบียบวิธีหลักเมื่อตีความความแม่นยำของโพรบสูงคือ:
- กระดูกสันหลังแอบฝึกฝน
- การสอบสวนอาจใช้ประโยชน์จากความสัมพันธ์ปลอมมากกว่าแนวคิดที่แท้จริง
- โพรบเชิงเส้นไม่สามารถพอดีมากเกินไปได้
- ไม่สามารถใช้การสูญเสียข้ามเอนโทรปีได้
- To compare two backbone layers with linear probes, what should remain consistent?
- The feature vectors from each layer
- The layer being evaluated
- The task labels, data split and probe-training protocol
- The activation values themselves
- Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
- To update the frozen backbone
- To add hidden nonlinear layers to the probe
- To guarantee the concept is causally used
- To reduce optimization and scale effects that could distort the representation comparison