EleutherAI
EleutherAI ایک نچلی سطح پر غیر منافع بخش تحقیقی مجموعہ ہے جس نے اوپن سورس کے بڑے لینگوئج ماڈلز کا آغاز کیا جب فرنٹیئر AI کارپوریٹ دیواروں کے پیچھے بند تھا۔
جائزہ
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
گہرا غوطہ
EleutherAI کا آغاز جولائی 2020 میں Connor Leahy، Sid Black، اور Leo Gao کے زیر اہتمام ایک Discord کمیونٹی کے طور پر ہوا، جس کا اصل مقصد OpenAI کے GPT-3 کو نقل کرنا تھا۔ ایسے ماڈلز کو تربیت دینے کے لیے، انہوں نے سب سے پہلے The Pile بنایا اور جاری کیا، ایک 825GB کیوریٹڈ ٹیکسٹ ڈیٹاسیٹ جو ایک معیاری اوپن ٹریننگ کارپس بن گیا۔ اس کے بعد انہوں نے GPT-Neo، GPT-J-6B، اور 20-بلین پیرامیٹر GPT-NeoX-20B، اپنے وقت کے سب سے بڑے کھلے عام دستیاب زبان کے ماڈلز میں سے جاری کیا۔ ان کے ٹولز، بشمول GPT-NeoX ٹریننگ لائبریری اور LM Evaluation Harness نے بینچ مارکنگ کے لیے پوری صنعت میں استعمال کیا، وہ بنیادی ڈھانچہ بن گئے جو دوسروں پر بنائے گئے تھے۔ 2023 میں EleutherAI نے ایک غیر منفعتی تحقیقی ادارے کے طور پر باضابطہ طور پر تشریح کی، صف بندی، اور ماڈلز کے سیکھنے کے طریقہ کی سائنس میں توسیع کی۔
تکنیکی بصیرت
EleutherAI کے ماڈلز ٹرانسفارمر ڈیکوڈر آرکیٹیکچر کا استعمال کرتے ہیں، لیکن GPT-J اور GPT-NeoX نے ٹوکن پوزیشنوں کو انکوڈنگ کرنے اور تیز رفتار ٹریننگ کے لیے متوازی توجہ-پلس-فیڈ فارورڈ تہوں کے لیے روٹری پوزیشنل ایمبیڈنگز (RoPE) جیسے عملی انجینئرنگ کے انتخاب متعارف کرائے ہیں۔ اہم بات یہ ہے کہ، انہوں نے Google کے TPU ریسرچ کلاؤڈ اور CoreWeave جیسی شراکت کے ذریعے عطیہ کردہ TPUs اور GPUs پر تربیت حاصل کی، جس سے یہ ظاہر ہوتا ہے کہ کھلے کوڈ کے ساتھ جوڑا بنانے پر تقسیم شدہ، اسپانسر کے ذریعے فنڈڈ کمپیوٹ کارپوریٹ ڈیٹا سینٹر کا متبادل ہو سکتا ہے۔
اسٹریٹجک اثر
Vendor strategy
وینڈر روڈ میپس اس بات پر اثر انداز ہوتے ہیں کہ آپ کی ٹیم آگے کیا خصوصیات بنا سکتی ہے۔
لاگت اور بجٹ
تجارتی شرائط اور تعیناتی کے اختیارات طویل مدتی لاگت اور خطرے کو متاثر کرتے ہیں۔
خطرہ اور حفاظت
کمپنی کی ترغیبات پروڈکٹ ڈیفالٹس، حفاظتی کرنسی، اور کھلے پن کو شکل دیتی ہیں۔
EleutherAI کا مستقبل
EleutherAI ایک خالص ماڈل اسکیلنگ کی دوڑ سے تشریح، تربیتی ڈیٹا کی شفافیت، اور سخت تشخیص کی طرف منتقل ہو رہا ہے، ایسے شعبے جہاں اوپن سائنس کی سب سے زیادہ ضرورت ہے۔ یہ سمجھنے پر کام جاری رکھنے کی توقع کریں کہ ماڈلز اندرونی طور پر کس چیز کی نمائندگی کرتے ہیں، اچھی طرح سے دستاویزی ڈیٹاسیٹس جاری کرتے ہیں، اور آزاد حفاظتی تحقیق کی حمایت کرتے ہیں۔ جیسے جیسے فرنٹیئر لیبز زیادہ خفیہ ہوتی ہیں، EleutherAI کا عوامی مفاد کے انسداد کے طور پر کردار، محققین کی اگلی نسل کی تربیت، ممکنہ طور پر اس کے بھیجے جانے والے کسی ایک ماڈل کے پیرامیٹر کی گنتی سے زیادہ اہمیت رکھتا ہے۔
حقیقی دنیا کا نفاذ
پائل ڈیٹاسیٹ کو دنیا بھر کے محققین کھلی زبان کے ماڈلز کو تولیدی طور پر تربیت اور مطالعہ کرنے کے لیے استعمال کرتے ہیں۔
GPT-J-6B اور GPT-NeoX-20B تجارتی API ماڈلز کے مفت متبادل کے طور پر اسٹارٹ اپس اور ماہرین تعلیم کے ذریعہ تعینات کیے گئے ہیں۔
LM ایویلیوایشن ہارنس ایک معیاری ٹول ہے جسے بہت سی لیبز سینکڑوں کاموں میں ماڈل کی کارکردگی کو بینچ مارک کرنے کے لیے استعمال کرتی ہیں۔
آزادانہ حفاظت اور تشریح کے محققین ماڈل انٹرنل کا مطالعہ کرنے کے لیے EleutherAI کے کھلے وزن کا استعمال کرتے ہیں جو بند APIs کو چھپاتے ہیں۔
خطرات اور گارڈریلز
لانچ کے اعلانات حقیقی پروڈکشن ورک فلو میں استحکام کو آگے بڑھا سکتے ہیں۔
API کی قیمتوں کا تعین یا پالیسی میں تبدیلی راتوں رات مفروضوں کو توڑ سکتی ہے۔
سنگل وینڈر پر انحصار لاک ان اور ہجرت کے اخراجات کو بڑھاتا ہے۔
نفاذ کا روڈ میپ
اپنے کاموں اور ڈیٹا سیٹس کا استعمال کرتے ہوئے فراہم کنندگان کا اندازہ لگائیں۔
انضمام سے پہلے رازداری، سیکورٹی اور قانونی شرائط کا جائزہ لیں۔
ماڈلز یا وینڈرز میں فال بیک پلان کو برقرار رکھیں۔
رہائی کے نوٹس کی نگرانی کریں تاکہ روڈ میپ میں تبدیلیاں ٹیموں کو حیران نہ کریں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
وزن اور تعصبات
اکثر پوچھے گئے سوالات
What is EleutherAI?
EleutherAI ایک نچلی سطح پر غیر منافع بخش تحقیقی مجموعہ ہے جس نے اوپن سورس کے بڑے لینگوئج ماڈلز کا آغاز کیا جب فرنٹیئر AI کارپوریٹ دیواروں کے پیچھے بند تھا۔ اس نے ثابت کیا کہ ایک رضاکار برادری بند نظاموں کا مقابلہ کرنے والے ماڈلز بنا سکتی ہے اور آزادانہ طور پر جاری کر سکتی ہے، اس کی تشکیل نو کر سکتی ہے کہ کون AI تحقیق میں حصہ لے گا۔
EleutherAI اصل میں 2020 میں کیسے شروع ہوا؟
EleutherAI اس وقت بند GPT-3 کی نقل تیار کرنے کے لیے منظم رضاکاروں کے ایک غیر رسمی ڈسکارڈ اجتماع کے طور پر شروع ہوا۔
'دی پائل' کیا ہے؟
The Pile ایک بڑا، متنوع، کھلے عام جاری کردہ ٹیکسٹ کارپس EleutherAI ہے جسے زبان کے ماڈلز کی تربیت اور مطالعہ کرنے کے لیے بنایا گیا ہے۔
ان میں سے کون ایک EleutherAI زبان کا ماڈل ہے؟
GPT-NeoX-20B EleutherAI کے فلیگ شپ اوپن ماڈلز میں سے ایک ہے۔ دوسرے Google یا Meta سے آتے ہیں۔
ایل ایم ایویلیویشن ہارنس کس کے لیے استعمال ہوتا ہے؟
سیکڑوں بینچ مارکس پر لینگویج ماڈلز کی معیاری تشخیص کے لیے ہارنس ایک وسیع پیمانے پر اپنایا جانے والا اوپن ٹول ہے۔
EleutherAI نے بڑے ماڈلز کو ابتدائی طور پر تربیت دینے کے لیے کمپیوٹ کیسے حاصل کیا؟
کارپوریٹ ڈیٹا سینٹر کی کمی کے باعث، EleutherAI نے اپنے ماڈلز کو تربیت دینے کے لیے سپانسر کے عطیہ کردہ TPU اور GPU وسائل پر انحصار کیا۔