बिगसाइंस और ब्लूम मॉडल
बिगसाइंस 1,000 से अधिक शोधकर्ताओं का एक साल तक चलने वाला खुला अनुसंधान सहयोग था जिसने ब्लूम का निर्माण किया, जो पहले वास्तविक बहुभाषी, खुले तौर पर जारी किए गए बड़े भाषा मॉडल में से एक था।
सिंहावलोकन
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
गहरा गोता
बिगसाइंस 2021 से 2022 तक चलने वाली एक साल की शोध कार्यशाला थी, जो हगिंग फेस द्वारा समन्वित थी और 60 से अधिक देशों और 250 संस्थानों के 1,000 से अधिक स्वयंसेवी शोधकर्ताओं को एक साथ लाती थी। जुलाई 2022 में जारी इसका हेडलाइन आउटपुट ब्लूम था, जो 176 बिलियन-पैरामीटर ऑटोरेग्रेसिव भाषा मॉडल था। ब्लूम जानबूझकर बहुभाषी था, जिसे रूट्स कॉर्पस पर प्रशिक्षित किया गया था, जिसमें 46 प्राकृतिक भाषाओं और 13 प्रोग्रामिंग भाषाओं को शामिल किया गया था, जिसमें कई अफ्रीकी और दक्षिण एशियाई भाषाओं जैसी कम प्रतिनिधित्व वाली भाषाओं का मजबूत प्रतिनिधित्व था। लगभग 384 जीपीयू का उपयोग करके फ्रांस में सार्वजनिक रूप से वित्त पोषित जीन ज़े सुपरकंप्यूटर पर कई महीनों तक प्रशिक्षण चला। ब्लूम को अपने डेटा, प्रशिक्षण और इच्छित उपयोगों के पूर्ण दस्तावेज़ीकरण के साथ रिस्पॉन्सिबल एआई लाइसेंस के तहत जारी किया गया था, जो तुलनीय मॉडलों के बंद विकास के बिल्कुल विपरीत था।
तकनीकी अंतर्दृष्टि
BLOOM GPT-3 के समान पैमाने का एक डिकोडर-केवल ट्रांसफार्मर है, जो सीखे गए स्थिति वैक्टर के बजाय ALiBi स्थितीय एम्बेडिंग का उपयोग करता है, जो इसे प्रशिक्षण में देखे गए अनुक्रमों की तुलना में लंबे अनुक्रमों में एक्सट्रपलेशन करने में मदद करता है। यह एक एम्बेडिंग परत सामान्यीकरण भी लागू करता है जिससे बड़े पैमाने पर प्रशिक्षण स्थिरता में सुधार होता है। बहुभाषी रूट्स कॉर्पस को सावधानीपूर्वक इकट्ठा और प्रलेखित किया गया था ताकि भाषा मिश्रण और डेटा स्रोत पारदर्शी और श्रव्य हों, जो अपारदर्शी स्क्रैप किए गए डेटासेट से जानबूझकर अलग था।
सामरिक प्रभाव
विक्रेता रणनीति
विक्रेता रोडमैप इस बात को प्रभावित करते हैं कि आपकी टीम आगे क्या सुविधाएँ बना सकती है।
लागत और बजट
वाणिज्यिक शर्तें और तैनाती विकल्प दीर्घकालिक लागत और जोखिम को प्रभावित करते हैं।
जोखिम और सुरक्षा
कंपनी के प्रोत्साहन उत्पाद चूक, सुरक्षा स्थिति और खुलेपन को आकार देते हैं।
बिगसाइंस का भविष्य और ब्लूम मॉडल
बिगसाइंस ने प्रदर्शित किया कि बड़े पैमाने पर, खुले तौर पर शासित एआई संभव है, और इसके मॉडल ने बाद में खुली रिलीज और पारदर्शिता के लिए व्यापक दबाव को प्रभावित किया। भविष्य में बहुभाषी कार्य संभवतः डेटा दस्तावेज़ीकरण और समावेशी भाषा कवरेज में अपने पाठों पर आधारित होगा, जबकि नए, अधिक कुशल मॉडल ने कच्ची क्षमता के मामले में ब्लूम को पीछे छोड़ दिया है। इसकी स्थायी विरासत मॉडल कार्ड, डेटा स्टेटमेंट और जिम्मेदार लाइसेंस प्रकाशित करने का मानदंड है, साथ ही यह सबूत भी है कि सार्वजनिक कंप्यूटर फ्रंटियर-स्केल मॉडल को प्रशिक्षित कर सकता है।
वास्तविक विश्व कार्यान्वयन
दर्जनों भाषाओं में पाठ तैयार करना और पूरा करना, जिनमें व्यावसायिक मॉडलों द्वारा कम सेवा पाने वाली भाषाएँ भी शामिल हैं
पूर्वाग्रह, बहुभाषी स्थानांतरण और स्केलिंग व्यवहार का अध्ययन करने के लिए एक खुली शोध आधार रेखा के रूप में कार्य करना
गैर-अंग्रेज़ी समुदायों के लिए BLOOMZ जैसे कार्य-विशिष्ट या अनुदेश-अनुपालन वाले वेरिएंट में फ़ाइन-ट्यूनिंग
प्रशिक्षण डेटा उत्पत्ति और जिम्मेदार एआई लाइसेंसिंग का अध्ययन करने वाले शिक्षाविदों के लिए एक पूरी तरह से प्रलेखित मॉडल प्रदान करना
जोखिम और रेलिंग
लॉन्च घोषणाएँ वास्तविक उत्पादन वर्कफ़्लो में स्थिरता को पीछे छोड़ सकती हैं।
एपीआई मूल्य निर्धारण या नीतिगत बदलाव रातों-रात धारणाओं को तोड़ सकते हैं।
एकल-विक्रेता निर्भरता से लॉक-इन और माइग्रेशन लागत बढ़ जाती है।
कार्यान्वयन रोडमैप
अपने स्वयं के कार्यों और डेटासेट का उपयोग करके प्रदाताओं का मूल्यांकन करें।
एकीकरण से पहले गोपनीयता, सुरक्षा और कानूनी शर्तों की समीक्षा करें।
सभी मॉडलों या विक्रेताओं के बीच फ़ॉलबैक योजना बनाए रखें।
रिलीज़ नोट्स की निगरानी करें ताकि रोडमैप परिवर्तन टीमों को आश्चर्यचकित न करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
मैजिक एआई लॉन्ग-कॉन्टेक्स्ट कोड मॉडल
अक्सर पूछे जाने वाले प्रश्नों
What is BigScience and the BLOOM Model?
बिगसाइंस 1,000 से अधिक शोधकर्ताओं का एक साल तक चलने वाला खुला अनुसंधान सहयोग था जिसने ब्लूम का निर्माण किया, जो पहले वास्तविक बहुभाषी, खुले तौर पर जारी किए गए बड़े भाषा मॉडल में से एक था। यह बिग टेक के बाहर निर्मित पारदर्शी, समुदाय-संचालित एआई में एक मील का पत्थर के रूप में मायने रखता है।
अपने समय के समान आकार के मॉडल की तुलना में ब्लूम मॉडल का प्राथमिक विशिष्ट लक्ष्य क्या था?
ब्लूम को वास्तव में बहुभाषी बनाने के लिए डिज़ाइन किया गया था और तुलनीय पैमाने के बंद मॉडल के विपरीत, पूर्ण दस्तावेज़ीकरण के साथ खुले तौर पर जारी किया गया था।
BLOOM के लगभग कितने पैरामीटर हैं?
BLOOM एक 176 बिलियन-पैरामीटर मॉडल है, जो इसे GPT-3 के समान पैमाने पर रखता है।
ब्लूम को कितनी प्राकृतिक भाषाओं को संभालने के लिए प्रशिक्षित किया गया था?
ब्लूम के रूट्स प्रशिक्षण कोष में 46 प्राकृतिक भाषाएँ और 13 प्रोग्रामिंग भाषाएँ शामिल हैं।
बिगसाइंस सहयोग का समन्वय किस संगठन ने किया?
हगिंग फेस ने 1,000 से अधिक स्वयंसेवी शोधकर्ताओं की एक कार्यशाला, बिगसाइंस का समन्वय किया।
ब्लूम को कहाँ प्रशिक्षित किया गया था?
ब्लूम को फ्रांस में जीन ज़े सुपरकंप्यूटर पर प्रशिक्षित किया गया था, जिससे पता चलता है कि सार्वजनिक कंप्यूटर एक फ्रंटियर-स्केल मॉडल को प्रशिक्षित कर सकता है।