แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

ตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายสำหรับแบบทดสอบการตีความ

ตรวจสอบการสร้างโปรแกรมเข้ารหัสอัตโนมัติแบบกระจัดกระจายและความกระจัดกระจาย คุณลักษณะการเปิดใช้งาน การขยายความกว้าง การแยกคุณลักษณะ และการทดลองควบคุมเชิงสาเหตุ

คำถาม 1 ของ 8

จุดประสงค์หลักของการฝึกตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายในการเปิดใช้งานโมเดลคืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. จุดประสงค์หลักของการฝึกตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายในการเปิดใช้งานโมเดลคืออะไร
    • เพื่อแยกการเปิดใช้งานที่พันกันเป็นคุณลักษณะที่สามารถตีความได้ ซึ่งส่วนใหญ่แยกออกจากกัน
    • เพื่อบีบอัดโมเดลให้ทำงานเร็วขึ้น
    • เพื่อแปลข้อความระหว่างภาษา
    • เพื่อเพิ่มความแม่นยำของแบบจำลองในการวัดประสิทธิภาพ
  2. How does an SAE’s sparsity penalty affect hidden-unit activations?
    • It guarantees each unit represents exactly one concept
    • It encourages only a small subset of the wider hidden layer to activate for an input
    • It makes every hidden unit activate equally
    • It removes the reconstruction objective
  3. Anthropic แยกฟีเจอร์โดยประมาณกี่รายการเมื่อปรับขนาด SAE เป็น Claude 3 Sonnet ในปี 2024
    • ประมาณ 500
    • ประมาณ 2,000
    • ประมาณ 34 ล้าน
    • ประมาณ 100 พันล้าน
  4. การสาธิต 'Golden Gate Claude' แสดงให้เห็นอะไรบ้าง
    • SAE นั้นสามารถฝึกอบรมได้เฉพาะกับรูปภาพเท่านั้น
    • ว่าโมเดลไม่สามารถสร้างข้อความได้อีกต่อไป
    • คุณสมบัติดังกล่าวไม่มีผลกระทบต่อเอาต์พุต
    • การยึดคุณลักษณะเดียวไว้สูงจะขัดขวางพฤติกรรมของแบบจำลองอย่างมีเหตุมีผล
  5. เหตุใดเลเยอร์ที่ซ่อนอยู่ใน SAE จึงกว้างกว่าการเปิดใช้งานที่สร้างขึ้นใหม่มาก
    • เนื่องจากแนวคิดถูกซ้อนทับในมิติที่น้อยกว่าที่ต้องการอย่างแท้จริง หน่วยที่มากขึ้นจึงช่วยแยกแนวคิดเหล่านั้นได้
    • เพื่อให้การฝึกถูกลง
    • เพราะเลเยอร์ที่กว้างกว่าจะมีความแม่นยำมากกว่าเสมอ
    • เพื่อลดจำนวนพารามิเตอร์
  6. ข้อใดคือข้อจำกัดที่ทราบของโปรแกรมเข้ารหัสอัตโนมัติแบบกระจัดกระจายในปัจจุบัน
    • พวกเขาไม่สามารถฝึกด้วยการไล่ระดับลงได้
    • การแยกคุณลักษณะ โดยที่แนวคิดหนึ่งจะแตกออกเป็นคุณลักษณะที่แยกจากกันจำนวนมาก
    • ใช้งานได้เฉพาะบนเครือข่ายแบบหมุนวนเท่านั้น
    • โดยไม่จำเป็นต้องติดฉลากโดยมนุษย์
  7. Which two objectives are commonly combined when training a sparse autoencoder?
    • A policy gradient and value loss
    • A next-token loss and a contrastive loss
    • Reconstruction error and a penalty on hidden activations
    • A calibration error and classification accuracy
  8. What does a TopK sparse autoencoder do to encourage sparsity?
    • Keeps the K largest input pixels and discards the decoder
    • Sets all encoder weights to zero
    • Trains K different tokenizers
    • Keeps only the K largest hidden activations for an input