แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการซ้อนทับและโพลิเซแมนติซิตี้

การตรวจสอบคุณลักษณะการซ้อนทับ การกระจัดกระจาย เซลล์ประสาทโพลีซีแมนติก ทิศทางที่ทับซ้อนกัน และเรขาคณิตของการแสดงที่ถูกบีบอัด

เส้นทางแนะนำที่เกี่ยวข้องการทับซ้อนและความหลากหลาย
คำถาม 1 ของ 8

'การซ้อนทับ' หมายถึงอะไรในโครงข่ายประสาทเทียม

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. 'การซ้อนทับ' หมายถึงอะไรในโครงข่ายประสาทเทียม
    • นำเสนอลักษณะต่างๆ มากกว่าเซลล์ประสาทโดยการซ้อนทับทิศทางของเซลล์ประสาท
    • การวางโมเดลหลายๆ แบบซ้อนกัน
    • รันโมเดลสองครั้งและเฉลี่ย
    • เพิ่มเสียงรบกวนให้กับอินพุตระหว่างการฝึก
  2. เงื่อนไขใดที่ทำให้การซ้อนทับทำงานได้ดีแม้จะมีการรบกวนจากฟีเจอร์ต่างๆ
    • ฟีเจอร์ที่มีการใช้งานหนาแน่นตลอดเวลา
    • ฟีเจอร์มีน้อย จึงมีเพียงไม่กี่ฟีเจอร์ที่ใช้งานพร้อมกัน
    • ใช้การเปิดใช้งานเชิงบวกเท่านั้น
    • มีเซลล์ประสาทมากกว่าคุณสมบัติ
  3. เซลล์ประสาท 'polysemantic' คืออะไร?
    • เซลล์ประสาทที่ไม่เคยทำงาน
    • เซลล์ประสาทที่ใช้ในเลเยอร์เอาท์พุตเท่านั้น
    • เซลล์ประสาทที่ตอบสนองต่อแนวคิดที่ไม่เกี่ยวข้องมากมาย
    • เซลล์ประสาทที่ไม่มีการเชื่อมต่อ
  4. บทความ Anthropic ใดแนะนำการศึกษาแบบควบคุมของปรากฏการณ์นี้ในปี 2022
    • ความเอาใจใส่คือสิ่งที่คุณต้องการ
    • การจำแนกประเภท ImageNet ด้วย Deep CNN
    • เล่น Atari ด้วย Deep RL
    • ของเล่นโมเดลซ้อนทับ
  5. หากเลเยอร์ต้องจัดเก็บคุณลักษณะต่างๆ มากกว่าที่มีมิติ สิ่งใดที่หลีกเลี่ยงไม่ได้ในทางเรขาคณิต
    • คุณลักษณะบางอย่างต้องใช้ทิศทางที่ทับซ้อนกันและไม่ใช่มุมฉาก
    • คุณลักษณะทั้งหมดสามารถอยู่ในมุมฉากได้อย่างสมบูรณ์แบบ
    • เครือข่ายจะต้องล้มเหลว
    • คุณสมบัติทั้งหมดจะเหมือนกัน
  6. เหตุใดการซ้อนทับจึงทำให้การตีความยากขึ้น
    • มันทำให้โมเดลทำงานช้าลง
    • เซลล์ประสาทเดี่ยวไม่แมปกับแนวคิดเดียวอย่างหมดจดอีกต่อไป
    • มันจะลบคุณสมบัติทั้งหมดออกจากโมเดล
    • มันมีผลกับเลเยอร์อินพุตเท่านั้น
  7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
    • Sparse activity makes all feature directions orthogonal
    • It increases the number of neurons automatically
    • Fewer features are active at the same time, so overlapping directions collide less often
    • It removes the need for nonlinear computation
  8. What does an antipodal pair of feature directions look like geometrically?
    • Two vectors at a right angle in separate dimensions
    • Two vectors with identical directions and magnitudes
    • A vector with no coordinates
    • Two directions that point opposite ways along the same line