Kuis Lupa Bencana

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Which situation describes catastrophic forgetting in a neural network?
   • Saat mempelajari tugas baru menyebabkan model kehilangan kemampuan yang dipelajari sebelumnya
   • Saat model kehabisan memori selama inferensi
   • Ketika data pelatihan terhapus secara tidak sengaja
   • Ketika seorang model menolak menjawab pertanyaan
2. Mengapa bencana lupa terjadi di jaringan saraf?
   • Karena setiap tugas mendapat jaringan tersendiri secara otomatis
   • Karena pembaruan gradien baru menimpa bobot bersama yang mengkodekan keterampilan lama
   • Karena model tidak dapat menyimpan lebih dari satu fakta
   • Karena lapisan perhatian sengaja menghapus data
3. Apa yang dilakukan Elastic Weight Consolidation (EWC) untuk mengurangi lupa?
   • Menghapus data tugas baru
   • Menggandakan kecepatan pembelajaran
   • Menghukum perubahan bobot yang penting untuk tugas yang dipelajari sebelumnya
   • Menghilangkan perhatian dari model
4. Bagaimana pengalaman memutar ulang (latihan) memerangi lupa?
   • Dengan membekukan seluruh model secara permanen
   • Dengan melatih hanya pada data terbaru
   • Dengan mengurangi jumlah lapisan
   • Dengan menyisipkan contoh lama yang tersimpan selama pelatihan baru
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. Bagaimana pendekatan retrieval-augmented menghindari bencana lupa?
   • Dengan menghapus pengetahuan lama untuk memberi ruang
   • Dengan menyimpan pengetahuan baru di database eksternal, bukan di bobot
   • Dengan berlatih terus menerus pada kebisingan acak
   • Dengan menonaktifkan memori model sepenuhnya
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence