แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการลืมภัยพิบัติ
ศึกษาว่าเหตุใดการเรียนรู้งานใหม่ๆ ตามลำดับจึงสามารถลดทักษะก่อนหน้านี้ได้ และวิธีที่วิธีการเรียนรู้อย่างต่อเนื่องจัดการกับข้อดีข้อเสียอย่างไร
คำถาม 1 ของ 8
Which situation describes catastrophic forgetting in a neural network?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Which situation describes catastrophic forgetting in a neural network?
- เมื่อการเรียนรู้งานใหม่จะทำให้แบบจำลองสูญเสียความสามารถที่เรียนรู้ก่อนหน้านี้
- เมื่อโมเดลมีหน่วยความจำไม่เพียงพอระหว่างการอนุมาน
- เมื่อข้อมูลการฝึกถูกลบโดยไม่ตั้งใจ
- เมื่อนางแบบปฏิเสธที่จะตอบคำถาม
- เหตุใดการลืมหายนะจึงเกิดขึ้นในโครงข่ายประสาทเทียม
- เพราะแต่ละงานจะมีเครือข่ายแยกกันโดยอัตโนมัติ
- เนื่องจากการอัพเดตการไล่ระดับสีใหม่จะแทนที่น้ำหนักที่ใช้ร่วมกันซึ่งเข้ารหัสทักษะเก่า
- เพราะโมเดลไม่สามารถเก็บข้อเท็จจริงได้มากกว่าหนึ่งข้อ
- เนื่องจากชั้นความสนใจลบข้อมูลโดยตั้งใจ
- Elastic Weight Consolidation (EWC) ช่วยลดการลืมได้อย่างไร
- ลบข้อมูลของงานใหม่
- เพิ่มอัตราการเรียนรู้เป็นสองเท่า
- ลงโทษการเปลี่ยนแปลงน้ำหนักที่สำคัญสำหรับงานที่เรียนรู้ก่อนหน้านี้
- ขจัดความสนใจจากโมเดล
- ประสบการณ์การเล่นซ้ำ (ซ้อม) การต่อสู้ลืมได้อย่างไร?
- โดยการแช่แข็งโมเดลทั้งหมดอย่างถาวร
- โดยการฝึกอบรมเฉพาะข้อมูลใหม่ล่าสุดเท่านั้น
- โดยการลดจำนวนชั้นลง
- โดยการแทรกตัวอย่างเก่าที่เก็บไว้ระหว่างการฝึกอบรมใหม่
- What does LoRA do to base-model weights when adding a task-specific adapter?
- It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
- It rewrites every base weight for each new task
- It stores no task-specific parameters
- It guarantees zero forgetting on every task sequence
- วิธีการดึงข้อมูลแบบเสริมจะหลีกเลี่ยงความหายนะที่ลืมได้อย่างไร?
- ด้วยการลบความรู้เก่าๆ ออกไป เพื่อให้มีที่ว่าง
- โดยการจัดเก็บองค์ความรู้ใหม่ไว้ในฐานข้อมูลภายนอกแทนการถ่วงน้ำหนัก
- โดยการฝึกอย่างต่อเนื่องในเรื่องเสียงสุ่ม
- โดยปิดการใช้งานหน่วยความจำของโมเดลทั้งหมด
- How does Gradient Episodic Memory (GEM) constrain learning on a new task?
- It removes old task examples from memory
- It changes the model to a nearest-class-mean classifier
- It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
- It adds a KL penalty to every parameter regardless of task
- How do RAG-Token and RAG-Sequence differ in the original RAG paper?
- RAG-Token removes retrieval while RAG-Sequence removes generation
- RAG-Sequence uses images while RAG-Token uses audio
- RAG-Token trains without model parameters
- RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence