แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการประเมินคุณสมบัติการตรวจวัดเชิงเส้นและแช่แข็ง

ตรวจสอบว่าโพรบเชิงเส้นวัดค่าใด วิธีเปรียบเทียบชั้นที่แช่แข็ง และเหตุใดความแม่นยำของโพรบเพียงอย่างเดียวจึงไม่สามารถสร้างการใช้งานเชิงสาเหตุหรือความทนทานได้

คำถาม 1 ของ 8

ในโพรบเชิงเส้นมาตรฐาน พารามิเตอร์ใดที่ได้รับการอัปเดตระหว่างการฝึก

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ในโพรบเชิงเส้นมาตรฐาน พารามิเตอร์ใดที่ได้รับการอัปเดตระหว่างการฝึก
    • เฉพาะตัวแยกประเภทเชิงเส้นที่เพิ่มใหม่ด้านบน
    • กระดูกสันหลังทั้งหมดบวกกับเลเยอร์เชิงเส้น
    • มีเพียงกระดูกสันหลังเท่านั้น ปล่อยให้ตัวแยกประเภทคงที่
    • เลเยอร์การฝังและบล็อกความสนใจสุดท้าย
  2. What does high linear-probe accuracy most directly show?
    • The backbone causally uses the feature for every prediction
    • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
    • The representation is robust to every distribution shift
    • The probe has identified a human-interpretable mechanism
  3. เมื่อเปรียบเทียบกับการปรับแบบละเอียดทั้งหมด การตรวจวัดเชิงเส้นมีความน่าสนใจเป็นหลัก เนื่องจาก:
    • แม่นยำยิ่งขึ้นในทุกงาน
    • รับประกันว่าจะสรุปผลการแจกแจงได้ดีขึ้น
    • ถูกกว่าในด้านการคำนวณและหน่วยความจำ และให้การอ่านคุณภาพคุณสมบัติที่สะอาดยิ่งขึ้น
    • วิธีเดียวที่จะใช้โมเดลที่ผ่านการฝึกอบรมมาแล้ว
  4. การค้นพบเชิงประจักษ์ทั่วไปเมื่อตรวจสอบหม้อแปลงคือ:
    • ชั้นสุดท้ายจะให้ความแม่นยำของโพรบที่ดีที่สุดเสมอ
    • การตรวจสอบใช้งานได้บนเครือข่ายแบบหมุนวนเท่านั้น
    • การเลือกเลเยอร์จะไม่ส่งผลต่อผลลัพธ์ของโพรบ
    • เลเยอร์ระดับกลางมักจะมีประสิทธิภาพดีกว่าเลเยอร์สุดท้ายในการถ่ายโอน
  5. นอกเหนือจากการเปรียบเทียบแล้ว โพรบเชิงเส้นยังถูกนำมาใช้มากขึ้นในการตีความเพื่อ:
    • ตรวจสอบว่าแนวคิดเช่นความจริงถูกเข้ารหัสในสถานะที่ซ่อนอยู่หรือไม่
    • บีบอัดโมเดลสำหรับการปรับใช้แบบเคลื่อนที่
    • เปลี่ยนเครื่องมือเพิ่มประสิทธิภาพระหว่างการฝึกล่วงหน้า
    • สร้างข้อมูลการฝึกอบรมใหม่โดยอัตโนมัติ
  6. ความเสี่ยงด้านระเบียบวิธีหลักเมื่อตีความความแม่นยำของโพรบสูงคือ:
    • กระดูกสันหลังแอบฝึกฝน
    • การสอบสวนอาจใช้ประโยชน์จากความสัมพันธ์ปลอมมากกว่าแนวคิดที่แท้จริง
    • โพรบเชิงเส้นไม่สามารถพอดีมากเกินไปได้
    • ไม่สามารถใช้การสูญเสียข้ามเอนโทรปีได้
  7. To compare two backbone layers with linear probes, what should remain consistent?
    • The feature vectors from each layer
    • The layer being evaluated
    • The task labels, data split and probe-training protocol
    • The activation values themselves
  8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
    • To update the frozen backbone
    • To add hidden nonlinear layers to the probe
    • To guarantee the concept is causally used
    • To reduce optimization and scale effects that could distort the representation comparison