لاٹری ٹکٹ کی مفروضہ
لاٹری ٹکٹ کا مفروضہ کہتا ہے کہ ایک بڑے، تصادفی طور پر شروع کیے گئے نیورل نیٹ ورک کے اندر ایک چھوٹا ذیلی نیٹ ورک چھپاتا ہے — ایک 'ویننگ ٹکٹ' — جو کہ اسی ابتدائی وزن سے اکیلے تربیت یافتہ، پورے نیٹ ورک کی درستگی سے مماثل ہو سکتا ہے۔
جائزہ
It matters because it suggests we are training far more parameters than we actually need.
گہرا غوطہ
جوناتھن فرینکل اور مائیکل کاربن کی طرف سے MIT میں 2018 میں تجویز کیا گیا، یہ مفروضہ کٹائی کی تحقیق سے پروان چڑھا۔ عام طور پر آپ درستگی کو کھونے کے بغیر تربیت یافتہ نیٹ ورک کو اس کے وزن کے 10-20% تک کم کر سکتے ہیں، لیکن اس چھوٹے نیٹ ورک کی تربیت شروع سے ناکام ہو جاتی ہے۔ فرینکل اور کاربن کو یہ چال ملی: زندہ بچ جانے والے کنکشنز کے اصل ابتدائی وزن کو برقرار رکھیں۔ وہ ویرل سب نیٹ ورک — جیتنے والا ٹکٹ — پھر تنہائی میں پوری درستگی کی تربیت دیتا ہے، بعض اوقات گھنے اصلی سے بھی تیز۔ انہوں نے ٹکٹوں کی شناخت 'دوبارہ شدت کی کٹائی' کے ذریعے کی: ٹرین، سب سے چھوٹے سائز کے وزن کو کاٹیں، باقی کو ان کی ابتدائی اقدار پر موڑیں، اور دہرائیں۔ نتیجہ یہ ہے کہ گھنے اوور پیرامیٹرائزیشن بنیادی طور پر ایک اچھا ویرل ڈھانچہ تلاش کرنے میں اصلاح میں مدد کرتی ہے، یہ نہیں کہ وہ تمام وزن انفرادی طور پر ضروری ہیں۔
تکنیکی بصیرت
بنیادی طریقہ کار وزن کو ریوائنڈنگ کے ساتھ تکراری شدت کی کٹائی ہے: تربیت کے بعد، سب سے کم شدت والے وزن کو ہٹا دیں، بقیہ وزن کو ان کی اصل ابتداء پر دوبارہ ترتیب دیں (یا ابتدائی تربیتی چوکی، جسے 'ریوائنڈنگ' کہا جاتا ہے)، پھر دوبارہ تربیت دیں۔ ایک مخصوص ویرل ماسک اور اس کی مماثل ابتداء کا امتزاج وہی ہے جو ٹکٹ کو 'جیت' بناتا ہے - اسی ماسک کو تصادفی طور پر دوبارہ شروع کرنے سے اثر ختم ہوجاتا ہے۔
اسٹریٹجک اثر
واضح فیصلے
یہ آپ کو مارکیٹنگ کی زبان سے واضح تکنیکی دعووں کو الگ کرنے میں مدد کرتا ہے۔
لاگت اور بجٹ
آپ پیسہ یا وقت خرچ کرنے سے پہلے بہتر نفاذ کے سوالات پوچھ سکتے ہیں۔
Team and workflow
مشترکہ تفہیم کے ساتھ ٹیمیں بہتر پروڈکٹ، پالیسی اور سیکھنے کے فیصلے کرتی ہیں۔
لاٹری ٹکٹ مفروضے کا مستقبل
لاٹری ٹکٹ کمپیوٹ اور توانائی کو بچانے کے لیے شروع سے ہی ویرل نیٹ ورکس کو تربیت دینے اور ڈیٹا سیٹس اور کاموں میں ٹکٹوں کی منتقلی کے لیے تحقیق کو تقویت دیتے ہیں۔ بلین پیرامیٹر ماڈلز پر تکراری کٹائی کو پیمانہ کرنا مہنگا رہتا ہے، لہذا سستے ٹکٹوں کو تلاش کرنے یا یہ ثابت کرنے پر کام جاری رہتا ہے کہ وہ موجود ہیں ('مضبوط' لاٹری ٹکٹ کا مفروضہ کہتا ہے کہ ٹکٹیں شروع ہونے پر موجود ہیں بغیر کسی تربیت کے)۔ موثر آن ڈیوائس ماڈلز اور سبز AI کے ساتھ ٹائی ان کی توقع کریں۔
حقیقی دنیا کا نفاذ
درستگی کو برقرار رکھتے ہوئے فون پر تعیناتی کے لیے بڑے امیج کلاسیفائر کو اس کے وزن کے 20% سے کم تک کمپریس کرنا
صرف ایک ویرل جیتنے والے ذیلی نیٹ ورک کی شناخت اور تربیت کے ذریعے تربیت کو تیز کرنا
متعلقہ ڈیٹا سیٹ پر جمپ اسٹارٹ ٹریننگ کے لیے ایک ڈیٹاسیٹ پر پائے جانے والے ٹکٹ کو دوبارہ استعمال کرکے وزن کی منتقلی کا مطالعہ کرنا
گھنے ماڈل کی بجائے کٹے ہوئے جیتنے والے ٹکٹ کو بھیج کر ایج ڈیوائسز میں انفرنس انرجی اور میموری کو کم کرنا
خطرات اور گارڈریلز
مختلف ٹیمیں ایک ہی اصطلاح کو مختلف طریقے سے استعمال کر سکتی ہیں، اس لیے دائرہ کار کی جلد وضاحت کریں۔
بینچ مارکس مضبوط نظر آسکتے ہیں جبکہ حقیقی دنیا کی کارکردگی ناہموار ہے۔
ڈیٹا کے معیار اور تشخیص کے منصوبوں کو نظر انداز کرنا اکثر نازک نتائج پیدا کرتا ہے۔
نفاذ کا روڈ میپ
آپ کو مطلوبہ نتائج کی سادہ زبان کی تعریف کے ساتھ شروع کریں۔
جانچ کرنے سے پہلے ایک کامیابی میٹرک اور ایک ناکامی کی شرط منتخب کریں۔
نمائندہ ڈیٹا کے ساتھ ایک چھوٹا پائلٹ چلائیں، نہ کہ پالش شدہ ڈیمو سیٹ۔
دستاویز جہاں لاٹری ٹکٹ مفروضہ مدد کرتا ہے اور جہاں آسان طریقے بہتر ہیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
چنچیلا کمپیوٹ - بہترین تربیت
اکثر پوچھے گئے سوالات
What is Lottery Ticket Hypothesis?
لاٹری ٹکٹ کا مفروضہ کہتا ہے کہ ایک بڑے، تصادفی طور پر شروع کیے گئے نیورل نیٹ ورک کے اندر ایک چھوٹا ذیلی نیٹ ورک چھپاتا ہے — ایک 'ویننگ ٹکٹ' — جو کہ اسی ابتدائی وزن سے اکیلے تربیت یافتہ، پورے نیٹ ورک کی درستگی سے مماثل ہو سکتا ہے۔ یہ اہمیت رکھتا ہے کیونکہ اس سے پتہ چلتا ہے کہ ہم اصل میں ضرورت سے کہیں زیادہ پیرامیٹرز کی تربیت کر رہے ہیں۔
اس مفروضے میں 'ویننگ ٹکٹ' کیا ہے؟
جیتنے والا ٹکٹ ایک چھوٹا ذیلی نیٹ ورک ہے جسے، جب ایک ہی ابتدائی وزن سے الگ تھلگ تربیت دی جاتی ہے، تو گھنے نیٹ ورک کے مقابلے درستگی تک پہنچ جاتی ہے۔
کٹے ہوئے ذیلی نیٹ ورک کی تربیت عام طور پر کیوں ناکام ہو جاتی ہے جب تک کہ آپ کچھ خاص نہ کریں؟
اہم بصیرت یہ ہے کہ ویرل ماسک صرف اس وقت کام کرتا ہے جب مماثل اصل ابتداء کے ساتھ جوڑا بنایا جاتا ہے۔ بے ترتیب دوبارہ شروع کرنا اسے توڑ دیتا ہے۔
لاٹری ٹکٹ کا مفروضہ کس نے تجویز کیا؟
جوناتھن فرینکل اور مائیکل کاربن نے اپنے 2018 کے MIT پیپر میں مفروضے کو متعارف کرایا۔
جیتنے والے ٹکٹ تلاش کرنے کے لیے کون سی تکنیک استعمال کی جاتی ہے؟
تکراری شدت کی کٹائی بار بار ٹرین کرتی ہے، سب سے چھوٹے وزن کے وزن کو ہٹاتی ہے، اور باقی کو ان کی ابتدائی قدروں کی طرف موڑ دیتی ہے۔
مفروضہ بڑے اوور پیرامیٹرائزڈ نیٹ ورکس کے بارے میں کیا تجویز کرتا ہے؟
تلاش کا مطلب یہ ہے کہ اوور پیرامیٹرائزیشن ہر وزن کی ضرورت کے بجائے تربیت کے قابل اسپارس سب نیٹ ورک کی تلاش میں مدد کرتی ہے۔