بگ سائنس اور بلوم ماڈل
BigScience 1,000 سے زیادہ محققین کا ایک سال پر محیط کھلا تحقیقی تعاون تھا جس نے BLOOM کو تیار کیا، جو کہ حقیقی معنوں میں کثیر لسانی، کھلے عام جاری کردہ بڑے زبان کے ماڈلز میں سے ایک ہے۔
جائزہ
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
گہرا غوطہ
BigScience ایک سال کی تحقیقی ورکشاپ تھی جو 2021 سے 2022 تک چل رہی تھی، جسے Hugging Face نے مربوط کیا اور 60 سے زیادہ ممالک اور 250 اداروں کے 1,000 سے زیادہ رضاکار محققین کو اکٹھا کیا۔ اس کا ہیڈ لائن آؤٹ پٹ، جو جولائی 2022 میں جاری کیا گیا، BLOOM تھا، جو 176-بلین پیرامیٹر آٹوریگریسو لینگویج ماڈل تھا۔ BLOOM جان بوجھ کر کثیر لسانی تھا، ROOTS کارپس پر تربیت یافتہ تھا جس میں 46 قدرتی زبانوں اور 13 پروگرامنگ زبانوں کا احاطہ کیا گیا تھا، جس میں کئی افریقی اور جنوبی ایشیائی زبانوں جیسی غیر نمائندگی شدہ زبانوں کی مضبوط نمائندگی تھی۔ تقریباً 384 GPUs کا استعمال کرتے ہوئے فرانس میں عوامی مالی اعانت سے چلنے والے Jean Zay سپر کمپیوٹر پر کئی مہینوں تک ٹریننگ چلائی گئی۔ BLOOM کو ذمہ دار AI لائسنس کے تحت اس کے ڈیٹا، تربیت، اور مطلوبہ استعمال کی مکمل دستاویزات کے ساتھ جاری کیا گیا تھا، جو کہ تقابلی ماڈلز کی بند ترقی کے ساتھ تیزی سے متضاد ہے۔
تکنیکی بصیرت
BLOOM GPT-3 سے ملتے جلتے پیمانے کا صرف ایک ڈیکوڈر ٹرانسفارمر ہے، جس میں سیکھے ہوئے پوزیشن ویکٹرز کے بجائے ALiBi پوزیشنل ایمبیڈنگز کا استعمال کیا جاتا ہے، جو اسے تربیت میں دیکھے جانے سے زیادہ طویل ترتیب تک بڑھانے میں مدد کرتا ہے۔ یہ سرایت کرنے والی پرت کو معمول پر لانے کا بھی اطلاق کرتا ہے جس نے پیمانے پر تربیتی استحکام کو بہتر بنایا ہے۔ کثیر لسانی ROOTS کارپس کو احتیاط سے جمع اور دستاویز کیا گیا تھا تاکہ زبان کا اختلاط اور ڈیٹا کے ذرائع شفاف اور قابل سماعت تھے، مبہم سکریپڈ ڈیٹاسیٹس سے جان بوجھ کر روانگی۔
اسٹریٹجک اثر
Vendor strategy
وینڈر روڈ میپس اس بات پر اثر انداز ہوتے ہیں کہ آپ کی ٹیم آگے کیا خصوصیات بنا سکتی ہے۔
لاگت اور بجٹ
تجارتی شرائط اور تعیناتی کے اختیارات طویل مدتی لاگت اور خطرے کو متاثر کرتے ہیں۔
خطرہ اور حفاظت
کمپنی کی ترغیبات پروڈکٹ ڈیفالٹس، حفاظتی کرنسی، اور کھلے پن کو شکل دیتی ہیں۔
بگ سائنس اور بلوم ماڈل کا مستقبل
BigScience نے یہ ظاہر کیا کہ بڑے پیمانے پر، کھلے عام حکومت کرنے والا AI ممکن ہے، اور اس کے ماڈل نے بعد میں کھلی ریلیز اور شفافیت کے لیے وسیع تر دباؤ کو متاثر کیا۔ مستقبل میں کثیر لسانی کام ممکنہ طور پر ڈیٹا دستاویزات اور جامع زبان کی کوریج میں اپنے اسباق پر استوار کرے گا، جبکہ نئے، زیادہ موثر ماڈلز نے خام صلاحیت پر بلوم کو پیچھے چھوڑ دیا ہے۔ اس کی پائیدار میراث ماڈل کارڈز، ڈیٹا اسٹیٹمنٹس، اور ذمہ دار لائسنس شائع کرنے کا معمول ہے، اس کے علاوہ اس بات کا ثبوت ہے کہ پبلک کمپیوٹ فرنٹیئر پیمانے پر ماڈلز کو تربیت دے سکتا ہے۔
حقیقی دنیا کا نفاذ
درجنوں زبانوں میں متن تیار کرنا اور مکمل کرنا، بشمول وہ زبانیں جو کمرشل ماڈلز کے ذریعہ زیر خدمت ہیں۔
تعصب، کثیر لسانی منتقلی، اور پیمانے کے رویے کا مطالعہ کرنے کے لیے ایک کھلی تحقیق کی بنیاد کے طور پر کام کرنا
غیر انگریزی کمیونٹیز کے لیے کام کے لیے مخصوص یا ہدایات کی پیروی کرنے والی مختلف قسموں جیسے BLOOMZ میں ٹھیک ٹیوننگ
تربیتی ڈیٹا پرووینس اور ذمہ دار AI لائسنسنگ کا مطالعہ کرنے والے ماہرین تعلیم کے لیے مکمل دستاویزی ماڈل فراہم کرنا
خطرات اور گارڈریلز
لانچ کے اعلانات حقیقی پروڈکشن ورک فلو میں استحکام کو آگے بڑھا سکتے ہیں۔
API کی قیمتوں کا تعین یا پالیسی میں تبدیلی راتوں رات مفروضوں کو توڑ سکتی ہے۔
سنگل وینڈر پر انحصار لاک ان اور ہجرت کے اخراجات کو بڑھاتا ہے۔
نفاذ کا روڈ میپ
اپنے کاموں اور ڈیٹا سیٹس کا استعمال کرتے ہوئے فراہم کنندگان کا اندازہ لگائیں۔
انضمام سے پہلے رازداری، سیکورٹی اور قانونی شرائط کا جائزہ لیں۔
ماڈلز یا وینڈرز میں فال بیک پلان کو برقرار رکھیں۔
رہائی کے نوٹس کی نگرانی کریں تاکہ روڈ میپ میں تبدیلیاں ٹیموں کو حیران نہ کریں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
میجک اے آئی لانگ سیاق و سباق کوڈ ماڈلز
اکثر پوچھے گئے سوالات
What is BigScience and the BLOOM Model?
BigScience 1,000 سے زیادہ محققین کا ایک سال پر محیط کھلا تحقیقی تعاون تھا جس نے BLOOM کو تیار کیا، جو کہ حقیقی معنوں میں کثیر لسانی، کھلے عام جاری کردہ بڑے زبان کے ماڈلز میں سے ایک ہے۔ بگ ٹیک کے باہر تعمیر کردہ شفاف، کمیونٹی سے چلنے والی AI میں یہ ایک اہم مقام ہے۔
BLOOM ماڈل کا اپنے وقت کے ایک جیسے سائز کے ماڈلز کے مقابلے میں بنیادی امتیازی ہدف کیا تھا؟
BLOOM کو حقیقی طور پر کثیر لسانی ہونے کے لیے ڈیزائن کیا گیا تھا اور موازنہ پیمانے کے بند ماڈلز کے برعکس، مکمل دستاویزات کے ساتھ کھلے عام جاری کیا گیا تھا۔
بلوم کے تقریباً کتنے پیرامیٹرز ہیں؟
بلوم ایک 176-بلین پیرامیٹر ماڈل ہے، جو اسے GPT-3 کے برابر پیمانے پر رکھتا ہے۔
بلوم کو کتنی قدرتی زبانوں کو سنبھالنے کی تربیت دی گئی تھی؟
بلوم کے روٹس ٹریننگ کارپس میں 46 قدرتی زبانوں کے علاوہ 13 پروگرامنگ زبانیں شامل ہیں۔
کس تنظیم نے BigScience تعاون کو مربوط کیا؟
Hugging Face کوآرڈینیٹڈ BigScience، 1,000 سے زیادہ رضاکار محققین کی ورکشاپ۔
بلوم کی تربیت کہاں ہوئی؟
BLOOM کو فرانس میں Jean Zay سپر کمپیوٹر پر تربیت دی گئی تھی، جس نے یہ ظاہر کیا کہ پبلک کمپیوٹ ایک فرنٹیئر اسکیل ماڈل کو تربیت دے سکتا ہے۔