چنچیلا اسکیلنگ کے قوانین
2022 میں ڈیپ مائنڈ کے چنچیلا اسکیلنگ قوانین نے ظاہر کیا کہ زیادہ تر بڑے زبان کے ماڈلز کو بری طرح سے تربیت نہیں دی گئی تھی: ایک مقررہ کمپیوٹ بجٹ کے لیے، آپ کو ماڈل کے سائز اور تربیتی ڈیٹا کو تقریباً برابر تناسب میں پیمانہ کرنا چاہیے۔
جائزہ
It matters because it redefined what 'optimal' model size means and reshaped how labs spend compute.
گہرا غوطہ
چنچیلا سے پہلے، رجحان نسبتاً معمولی مقدار میں ڈیٹا پر تربیت کے دوران ہمیشہ سے بڑے ماڈلز (جیسے 175B-پیرامیٹر GPT-3) بنانے کا تھا۔ ڈیپ مائنڈ نے بہت سے سائز اور ڈیٹا بجٹ میں 400 سے زیادہ ماڈلز کو تربیت دی، پھر فکسڈ کمپیوٹ (FLOP) بجٹ کے تحت پیرامیٹرز اور ٹوکنز کے فنکشن کے طور پر نقصان کی پیش گوئی کرنے والے منحنی خطوط کو فٹ کیا۔ ان کی تلاش: پیرامیٹرز اور ٹریننگ ٹوکنز کو ایک ساتھ پیمانہ ہونا چاہیے، تقریباً 1 سے 1 کا تناسب، جس کا مطلب فی پیرامیٹر ٹریننگ ڈیٹا کے تقریباً 20 ٹوکن ہیں۔ اس کو ثابت کرنے کے لیے، انہوں نے 1.4 ٹریلین ٹوکنز پر ایک 70B-پیرامیٹر ماڈل چنچیلا کو تربیت دی، جس نے ایک ہی کمپیوٹ استعمال کرنے کے باوجود بہت بڑے 280B-پیرامیٹر گوفر سے بہتر کارکردگی کا مظاہرہ کیا، کیونکہ اسے بہت زیادہ ڈیٹا پر تربیت دی گئی تھی۔
تکنیکی بصیرت
قوانین پیرامیٹرک نقصان کے فنکشن L(N, D) کو فٹ کرنے سے آتے ہیں جہاں N پیرامیٹرز ہے اور D ٹوکن ہے، بشمول ناقابل تلافی نقصان، ماڈل سائز، اور ڈیٹا سائز کی شرائط۔ کمپیوٹ کی رکاوٹ کے تحت نقصان کو کم سے کم کرنا (کمپیوٹ تقریباً N اوقات D کے متناسب ہے) نتیجہ یہ نکلتا ہے کہ بہترین N اور D دونوں ملتے جلتے ایکسپونینٹس کے ساتھ کمپیوٹ کی طاقت کے طور پر بڑھتے ہیں، لہذا کمپیوٹ-بہترین تناسب 20 ٹوکن فی پیرامیٹر کے قریب رہتا ہے۔
اسٹریٹجک اثر
رفتار اور پیمانہ
زبان کے کام کے بہاؤ مستقل مزاجی کی قربانی کے بغیر تیزی سے آگے بڑھ سکتے ہیں۔
رسائی اور رسائی
یہ زبانوں اور مواصلاتی طرزوں تک رسائی کو بڑھاتا ہے۔
واضح فیصلے
ٹیمیں فیصلے پر زیادہ وقت گزار سکتی ہیں جبکہ آٹومیشن تکرار کو سنبھالتی ہے۔
چنچیلا اسکیلنگ قوانین کا مستقبل
چنچیلا نے فیلڈ کو پیرامیٹر کی گنتی کا پیچھا کرنے سے بہت زیادہ اعلی معیار کے ڈیٹا کو فیڈ کرنے والے ماڈلز کی طرف منتقل کر دیا، اور جدید ماڈل اکثر 'کمپیوٹ بہترین' نقطہ سے اچھی طرح سے ٹریننگ کرتے ہیں تاکہ اندازہ کو سستا بنایا جا سکے۔ جیسے جیسے اعلیٰ معیار کا ویب ٹیکسٹ نایاب ہو جاتا ہے، توجہ ڈیٹا کیوریشن، مصنوعی ڈیٹا، ایک سے زیادہ عہدوں، اور ملٹی موڈل ڈیٹا کی طرف مبذول ہو رہی ہے تاکہ اسکیلنگ کو جاری رکھا جا سکے۔ بنیادی سبق برقرار ہے: ڈیٹا اور پیرامیٹرز کو متوازن ہونا چاہیے، اور صرف خام سائز اب مقصد نہیں ہے۔
حقیقی دنیا کا نفاذ
ڈیپ مائنڈ کا 70B-پیرامیٹر چنچیلا 280B گوفر کو یکساں کمپیوٹ کا استعمال کرتے ہوئے بینچ مارکس پر شکست دے کر، کہیں زیادہ ڈیٹا پر تربیت دے کر
شروع سے شروع ہونے والے ماڈل کی منصوبہ بندی کرتے وقت فی پیرامیٹر تقریباً 20 ٹریننگ ٹوکنز کا بجٹ بنانے کے لیے ٹیموں کی رہنمائی کرنا
LLaMA جیسے چھوٹے، ڈیٹا سے بھرپور ماڈلز کا جواز پیش کرنا جو تخمینہ کے وقت چلانے کے لیے سستے ہیں۔
یہ اندازہ لگانا کہ آیا ایک منصوبہ بند ماڈل 'انڈرٹرین' ہے اور اضافی پیرامیٹرز کے مقابلے میں اضافی ڈیٹا سے زیادہ فائدہ اٹھائے گا۔
خطرات اور گارڈریلز
گمراہ شدہ حقائق خاموشی سے رپورٹس، سپورٹ فلو، یا تحقیقی نتائج درج کر سکتے ہیں۔
فوری حساسیت اسی طرح کی درخواستوں میں متضاد نتائج پیدا کر سکتی ہے۔
اگر رسائی کے کنٹرول کمزور ہیں تو حساس ٹیکسٹ ڈیٹا کو بے نقاب کیا جا سکتا ہے۔
نفاذ کا روڈ میپ
رول آؤٹ سے پہلے آؤٹ پٹ فارمیٹ، ٹون اور معیار کے معیارات کی وضاحت کریں۔
جب بھی درستگی اہمیت رکھتی ہے تو بھروسہ مند ذرائع کے ساتھ زمینی جوابات۔
ہائی اسٹیک آؤٹ پٹس کے لیے ایک انسانی جائزہ چیک پوائنٹ رکھیں۔
ناکامی کے نمونوں کو ٹریک کریں اور پرامپٹس یا ورک فلو کو باقاعدگی سے دوبارہ تربیت دیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Scaling Laws quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
نیورل نیٹ ورکس کے لیے اسکیلنگ کے قوانین
اکثر پوچھے گئے سوالات
What is Chinchilla Scaling Laws?
2022 میں ڈیپ مائنڈ کے چنچیلا اسکیلنگ قوانین نے ظاہر کیا کہ زیادہ تر بڑے زبان کے ماڈلز کو بری طرح سے تربیت نہیں دی گئی تھی: ایک مقررہ کمپیوٹ بجٹ کے لیے، آپ کو ماڈل کے سائز اور تربیتی ڈیٹا کو تقریباً برابر تناسب میں پیمانہ کرنا چاہیے۔ یہ اہمیت رکھتا ہے کیونکہ اس نے 'زیادہ سے زیادہ' ماڈل کے سائز کا کیا مطلب ہے اس کی دوبارہ وضاحت کی ہے اور لیبز کمپیوٹ کو کس طرح خرچ کرتی ہیں اسے نئی شکل دی ہے۔
چنچیلا اسکیلنگ قوانین کی مرکزی تلاش کیا تھی؟
چنچیلا نے دکھایا کہ ایک مقررہ کمپیوٹ بجٹ کے لیے، پیرامیٹرز اور ٹریننگ ٹوکنز کو ایک ساتھ بڑھنا چاہیے، تقریباً 1 سے 1۔
تقریباً کتنے ٹریننگ ٹوکن فی پیرامیٹر کے مطابق چنچیلا نے تجویز کیا کہ یہ کمپیوٹ بہترین ہے؟
کمپیوٹ کا بہترین تناسب ہر ماڈل پیرامیٹر کے لیے تقریباً 20 ٹریننگ ٹوکنز پر کام کرتا ہے۔
چنچیلا نے بہت چھوٹا ہونے کے باوجود کس ماڈل کو پیچھے چھوڑ دیا؟
70B-پیرامیٹر چنچیلا نے اسی کمپیوٹ کا استعمال کرتے ہوئے DeepMind کے اپنے 280B-پیرامیٹر گوفر کو شکست دی، کیونکہ اس نے بہت زیادہ ڈیٹا پر تربیت حاصل کی۔
اس وقت GPT-3 جیسے ماڈلز کے بارے میں چنچیلا کا کیا مطلب تھا؟
اس دور کے بہت سے بڑے ماڈلز کو زیر تربیت رکھا گیا تھا، یعنی وہ اپنے پیرامیٹر کی گنتی کے لیے بہت زیادہ ڈیٹا کے ساتھ بہتر کارکردگی کا مظاہرہ کرتے۔
چنچیلا کے تجزیے میں تقریباً حساب کیسے لگایا گیا؟
ٹریننگ کمپیوٹ (FLOPs) تربیتی ٹوکن کی تعداد سے ضرب کردہ پیرامیٹرز کی تعداد کے تقریباً متناسب ہے۔