แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

ฟังก์ชันที่มีอิทธิพลสำหรับแบบทดสอบการระบุแหล่งที่มาของข้อมูลการฝึกอบรม

ตรวจสอบการโต้แย้งของฟังก์ชันอิทธิพล การประมาณแบบ Hessian ความหมายของสัญญาณอิทธิพล และการระบุแหล่งที่มาของข้อมูลในแบบจำลองภาษา

คำถาม 1 ของ 8

คำถามโต้แย้งข้อใดที่มีอิทธิพลต่อฟังก์ชันโดยประมาณ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. คำถามโต้แย้งข้อใดที่มีอิทธิพลต่อฟังก์ชันโดยประมาณ
    • การสูญเสียจุดทดสอบจะเปลี่ยนไปอย่างไรหากตัวอย่างการฝึกอบรมถูกลบออกหรือเพิ่มน้ำหนัก
    • ค่าเฉลี่ยของแบบจำลองมีความแม่นยำเพียงใด
    • รถไฟจำลองเร็วแค่ไหน
    • โมเดลมีกี่พารามิเตอร์
  2. วัตถุทางคณิตศาสตร์ใดที่ทำให้การคำนวณอิทธิพลที่แน่นอนเป็นเรื่องยากสำหรับโมเดลขนาดใหญ่
    • ฟังก์ชั่นซอฟต์แม็กซ์
    • Hessian ผกผันของการสูญเสีย
    • ตารางอัตราการเรียนรู้
    • ขนาดแบทช์
  3. ใครเป็นผู้ปรับใช้ฟังก์ชันที่มีอิทธิพลกับการเรียนรู้เชิงลึกสมัยใหม่ในรายงานยอดนิยมประจำปี 2017
    • กู๊ดเฟลโลว์ และเบงโจ้
    • วาสวานี และคณะ
    • เกาะและเหลียง
    • ฮินตัน และ เลอคุน
  4. Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
    • The point was not in the training data
    • Upweighting the point is estimated to increase test loss
    • The point has no relationship to the test example
    • Upweighting the point is estimated to lower test loss, so it is helpful
  5. Anthropic ใช้ในการประมาณค่าใดเพื่อปรับขนาดฟังก์ชันที่มีอิทธิพลต่อโมเดลภาษาขนาดใหญ่
    • EK-FAC (ความโค้งแบบปัจจัยโครเนกเกอร์)
    • การออกกลางคัน
    • ค้นหาบีม
    • มิกซ์อัพ
  6. การศึกษาแบบปรับขนาดของ Anthropic พบอะไรเกี่ยวกับตัวอย่างที่มีอิทธิพล
    • จะเป็นสำเนาของเอาต์พุตที่ตรงกันทุกประการเสมอ
    • พวกเขามักจะแบ่งปันรูปแบบนามธรรมมากกว่าการใช้ถ้อยคำที่เหมือนกัน
    • พวกเขาจะถูกแจกจ่ายแบบสุ่ม
    • เฉพาะตัวอย่างการฝึกอบรมแรกเท่านั้นที่สำคัญ
  7. In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
    • The test set’s token count
    • A random forest over training labels
    • The inverse Hessian of the training loss
    • The model’s output vocabulary size
  8. If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
    • It was guaranteed to be a duplicate
    • It had no relationship to the model
    • It necessarily caused the model to overfit
    • It had a helpful influence on that test point under the approximation