ব্যাখ্যাযোগ্যতা কুইজের জন্য স্পার্স অটোএনকোডার

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. একটি মডেলের অ্যাক্টিভেশনে একটি স্পার্স অটোএনকোডারকে প্রশিক্ষণ দেওয়ার মূল উদ্দেশ্য কী?
   • জটিল অ্যাক্টিভেশনগুলিকে ব্যাখ্যাযোগ্য, বেশিরভাগ-বিচ্ছিন্ন বৈশিষ্ট্যগুলিতে পচানোর জন্য
   • মডেলটিকে সংকুচিত করতে যাতে এটি দ্রুত চলে
   • ভাষার মধ্যে পাঠ্য অনুবাদ করতে
   • বেঞ্চমার্কে মডেলের নির্ভুলতা বাড়ানোর জন্য
2. How does an SAE’s sparsity penalty affect hidden-unit activations?
   • It guarantees each unit represents exactly one concept
   • It encourages only a small subset of the wider hidden layer to activate for an input
   • It makes every hidden unit activate equally
   • It removes the reconstruction objective
3. 2024 সালে SAE-কে Claude 3 সনেটে স্কেল করার সময় মোটামুটি কতগুলি বৈশিষ্ট্য Anthropic বের করেছে?
   • প্রায় 500
   • প্রায় 2,000
   • প্রায় 34 মিলিয়ন
   • প্রায় 100 বিলিয়ন
4. 'গোল্ডেন গেট Claude' প্রদর্শনী কী দেখায়?
   • যে SAEs শুধুমাত্র ইমেজ প্রশিক্ষিত করা যেতে পারে
   • যে মডেলটি আর পাঠ্য তৈরি করতে পারে না
   • যে বৈশিষ্ট্য আউটপুট উপর কোন প্রভাব নেই
   • যে একটি একক বৈশিষ্ট্য উচ্চ ক্ল্যাম্পিং কারণগতভাবে মডেলের আচরণ চালায়
5. কেন একটি SAE-তে একটি লুকানো স্তর সাধারণত এটি পুনর্গঠিত সক্রিয়করণের চেয়ে অনেক বেশি প্রশস্ত হয়?
   • যেহেতু ধারণাগুলি তাদের সত্যিকারের প্রয়োজনের তুলনায় কম মাত্রায় সুপারপোজ করা হয়, তাই আরও ইউনিট তাদের বিচ্ছিন্ন করতে সহায়তা করে
   • প্রশিক্ষণ সস্তা করতে
   • কারণ বিস্তৃত স্তরগুলি সর্বদা আরও সঠিক
   • পরামিতি সংখ্যা কমাতে
6. বর্তমান স্পার্স অটোএনকোডারগুলির একটি পরিচিত সীমাবদ্ধতা কোনটি?
   • তাদের গ্রেডিয়েন্ট ডিসেন্ট দিয়ে প্রশিক্ষিত করা যাবে না
   • বৈশিষ্ট্য বিভাজন, যেখানে একটি ধারণা অনেকগুলি পৃথক বৈশিষ্ট্যে ভেঙে যায়
   • তারা শুধুমাত্র convolutional নেটওয়ার্কে কাজ করে
   • তারা যেকোন মানুষের লেবেলিংয়ের প্রয়োজনীয়তা দূর করে
7. Which two objectives are commonly combined when training a sparse autoencoder?
   • A policy gradient and value loss
   • A next-token loss and a contrastive loss
   • Reconstruction error and a penalty on hidden activations
   • A calibration error and classification accuracy
8. What does a TopK sparse autoencoder do to encourage sparsity?
   • Keeps the K largest input pixels and discards the decoder
   • Sets all encoder weights to zero
   • Trains K different tokenizers
   • Keeps only the K largest hidden activations for an input