แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
ตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายสำหรับแบบทดสอบการตีความ
ตรวจสอบการสร้างโปรแกรมเข้ารหัสอัตโนมัติแบบกระจัดกระจายและความกระจัดกระจาย คุณลักษณะการเปิดใช้งาน การขยายความกว้าง การแยกคุณลักษณะ และการทดลองควบคุมเชิงสาเหตุ
คำถาม 1 ของ 8
จุดประสงค์หลักของการฝึกตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายในการเปิดใช้งานโมเดลคืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- จุดประสงค์หลักของการฝึกตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายในการเปิดใช้งานโมเดลคืออะไร
- เพื่อแยกการเปิดใช้งานที่พันกันเป็นคุณลักษณะที่สามารถตีความได้ ซึ่งส่วนใหญ่แยกออกจากกัน
- เพื่อบีบอัดโมเดลให้ทำงานเร็วขึ้น
- เพื่อแปลข้อความระหว่างภาษา
- เพื่อเพิ่มความแม่นยำของแบบจำลองในการวัดประสิทธิภาพ
- How does an SAE’s sparsity penalty affect hidden-unit activations?
- It guarantees each unit represents exactly one concept
- It encourages only a small subset of the wider hidden layer to activate for an input
- It makes every hidden unit activate equally
- It removes the reconstruction objective
- Anthropic แยกฟีเจอร์โดยประมาณกี่รายการเมื่อปรับขนาด SAE เป็น Claude 3 Sonnet ในปี 2024
- ประมาณ 500
- ประมาณ 2,000
- ประมาณ 34 ล้าน
- ประมาณ 100 พันล้าน
- การสาธิต 'Golden Gate Claude' แสดงให้เห็นอะไรบ้าง
- SAE นั้นสามารถฝึกอบรมได้เฉพาะกับรูปภาพเท่านั้น
- ว่าโมเดลไม่สามารถสร้างข้อความได้อีกต่อไป
- คุณสมบัติดังกล่าวไม่มีผลกระทบต่อเอาต์พุต
- การยึดคุณลักษณะเดียวไว้สูงจะขัดขวางพฤติกรรมของแบบจำลองอย่างมีเหตุมีผล
- เหตุใดเลเยอร์ที่ซ่อนอยู่ใน SAE จึงกว้างกว่าการเปิดใช้งานที่สร้างขึ้นใหม่มาก
- เนื่องจากแนวคิดถูกซ้อนทับในมิติที่น้อยกว่าที่ต้องการอย่างแท้จริง หน่วยที่มากขึ้นจึงช่วยแยกแนวคิดเหล่านั้นได้
- เพื่อให้การฝึกถูกลง
- เพราะเลเยอร์ที่กว้างกว่าจะมีความแม่นยำมากกว่าเสมอ
- เพื่อลดจำนวนพารามิเตอร์
- ข้อใดคือข้อจำกัดที่ทราบของโปรแกรมเข้ารหัสอัตโนมัติแบบกระจัดกระจายในปัจจุบัน
- พวกเขาไม่สามารถฝึกด้วยการไล่ระดับลงได้
- การแยกคุณลักษณะ โดยที่แนวคิดหนึ่งจะแตกออกเป็นคุณลักษณะที่แยกจากกันจำนวนมาก
- ใช้งานได้เฉพาะบนเครือข่ายแบบหมุนวนเท่านั้น
- โดยไม่จำเป็นต้องติดฉลากโดยมนุษย์
- Which two objectives are commonly combined when training a sparse autoencoder?
- A policy gradient and value loss
- A next-token loss and a contrastive loss
- Reconstruction error and a penalty on hidden activations
- A calibration error and classification accuracy
- What does a TopK sparse autoencoder do to encourage sparsity?
- Keeps the K largest input pixels and discards the decoder
- Sets all encoder weights to zero
- Trains K different tokenizers
- Keeps only the K largest hidden activations for an input