تشریحی کوئز کے لیے اسپارس آٹو اینکوڈرز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ماڈل کی ایکٹیویشنز پر ایک ویرل آٹو اینکوڈر کو تربیت دینے کا بنیادی مقصد کیا ہے؟
   • الجھی ہوئی ایکٹیویشنز کو قابل تشریح، زیادہ تر الگ تھلگ خصوصیات میں تحلیل کرنا
   • ماڈل کو کمپریس کرنے کے لیے تاکہ یہ تیزی سے چلے
   • زبانوں کے درمیان متن کا ترجمہ کرنے کے لیے
   • بینچ مارکس پر ماڈل کی درستگی کو بڑھانے کے لیے
2. How does an SAE’s sparsity penalty affect hidden-unit activations?
   • It guarantees each unit represents exactly one concept
   • It encourages only a small subset of the wider hidden layer to activate for an input
   • It makes every hidden unit activate equally
   • It removes the reconstruction objective
3. 2024 میں SAEs کو Claude 3 Sonnet میں اسکیل کرتے وقت Anthropic نے تقریباً کتنی خصوصیات نکالیں؟
   • تقریباً 500
   • تقریباً 2,000
   • تقریباً 34 ملین
   • تقریباً 100 ارب
4. 'گولڈن گیٹ Claude' کے مظاہرے نے کیا دکھایا؟
   • کہ SAEs کو صرف تصاویر پر تربیت دی جا سکتی ہے۔
   • کہ ماڈل مزید متن تیار نہیں کرسکتا
   • اس خصوصیات کا آؤٹ پٹ پر کوئی اثر نہیں ہوتا ہے۔
   • یہ ایک واحد خصوصیت کو زیادہ سے زیادہ کلیمپ کرنے سے ماڈل کے طرز عمل کو آگے بڑھاتا ہے۔
5. SAE میں ایک پوشیدہ پرت عام طور پر اس ایکٹیویشن سے کہیں زیادہ وسیع کیوں ہوتی ہے جو اس کی تشکیل نو کرتی ہے؟
   • چونکہ تصورات کو ان کی حقیقی ضرورت سے کم جہتوں میں سپرپوز کیا جاتا ہے، اس لیے زیادہ یونٹس ان کو حل کرنے میں مدد کرتے ہیں۔
   • تربیت کو سستا بنانے کے لیے
   • کیونکہ وسیع پرتیں ہمیشہ زیادہ درست ہوتی ہیں۔
   • پیرامیٹرز کی تعداد کو کم کرنے کے لئے
6. موجودہ ویرل آٹو اینکوڈرز کی معلوم حد کون سی ہے؟
   • انہیں تدریجی نزول کے ساتھ تربیت نہیں دی جا سکتی
   • خصوصیت کی تقسیم، جہاں ایک تصور کئی الگ الگ خصوصیات میں ٹوٹ جاتا ہے۔
   • وہ صرف convolutional نیٹ ورکس پر کام کرتے ہیں۔
   • وہ کسی بھی انسانی لیبلنگ کی ضرورت کو ختم کرتے ہیں۔
7. Which two objectives are commonly combined when training a sparse autoencoder?
   • A policy gradient and value loss
   • A next-token loss and a contrastive loss
   • Reconstruction error and a penalty on hidden activations
   • A calibration error and classification accuracy
8. What does a TopK sparse autoencoder do to encourage sparsity?
   • Keeps the K largest input pixels and discards the decoder
   • Sets all encoder weights to zero
   • Trains K different tokenizers
   • Keeps only the K largest hidden activations for an input