แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
ฟังก์ชันที่มีอิทธิพลสำหรับแบบทดสอบการระบุแหล่งที่มาของข้อมูลการฝึกอบรม
ตรวจสอบการโต้แย้งของฟังก์ชันอิทธิพล การประมาณแบบ Hessian ความหมายของสัญญาณอิทธิพล และการระบุแหล่งที่มาของข้อมูลในแบบจำลองภาษา
คำถาม 1 ของ 8
คำถามโต้แย้งข้อใดที่มีอิทธิพลต่อฟังก์ชันโดยประมาณ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- คำถามโต้แย้งข้อใดที่มีอิทธิพลต่อฟังก์ชันโดยประมาณ
- การสูญเสียจุดทดสอบจะเปลี่ยนไปอย่างไรหากตัวอย่างการฝึกอบรมถูกลบออกหรือเพิ่มน้ำหนัก
- ค่าเฉลี่ยของแบบจำลองมีความแม่นยำเพียงใด
- รถไฟจำลองเร็วแค่ไหน
- โมเดลมีกี่พารามิเตอร์
- วัตถุทางคณิตศาสตร์ใดที่ทำให้การคำนวณอิทธิพลที่แน่นอนเป็นเรื่องยากสำหรับโมเดลขนาดใหญ่
- ฟังก์ชั่นซอฟต์แม็กซ์
- Hessian ผกผันของการสูญเสีย
- ตารางอัตราการเรียนรู้
- ขนาดแบทช์
- ใครเป็นผู้ปรับใช้ฟังก์ชันที่มีอิทธิพลกับการเรียนรู้เชิงลึกสมัยใหม่ในรายงานยอดนิยมประจำปี 2017
- กู๊ดเฟลโลว์ และเบงโจ้
- วาสวานี และคณะ
- เกาะและเหลียง
- ฮินตัน และ เลอคุน
- Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
- The point was not in the training data
- Upweighting the point is estimated to increase test loss
- The point has no relationship to the test example
- Upweighting the point is estimated to lower test loss, so it is helpful
- Anthropic ใช้ในการประมาณค่าใดเพื่อปรับขนาดฟังก์ชันที่มีอิทธิพลต่อโมเดลภาษาขนาดใหญ่
- EK-FAC (ความโค้งแบบปัจจัยโครเนกเกอร์)
- การออกกลางคัน
- ค้นหาบีม
- มิกซ์อัพ
- การศึกษาแบบปรับขนาดของ Anthropic พบอะไรเกี่ยวกับตัวอย่างที่มีอิทธิพล
- จะเป็นสำเนาของเอาต์พุตที่ตรงกันทุกประการเสมอ
- พวกเขามักจะแบ่งปันรูปแบบนามธรรมมากกว่าการใช้ถ้อยคำที่เหมือนกัน
- พวกเขาจะถูกแจกจ่ายแบบสุ่ม
- เฉพาะตัวอย่างการฝึกอบรมแรกเท่านั้นที่สำคัญ
- In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
- The test set’s token count
- A random forest over training labels
- The inverse Hessian of the training loss
- The model’s output vocabulary size
- If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
- It was guaranteed to be a duplicate
- It had no relationship to the model
- It necessarily caused the model to overfit
- It had a helpful influence on that test point under the approximation