एलुथेरएआई
EleutherAI एक जमीनी स्तर का गैर-लाभकारी अनुसंधान समूह है जिसने ओपन-सोर्स बड़े भाषा मॉडल का नेतृत्व किया जब फ्रंटियर AI कॉर्पोरेट दीवारों के पीछे बंद था।
सिंहावलोकन
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
गहरा गोता
EleutherAI की शुरुआत जुलाई 2020 में कॉनर लीही, सिड ब्लैक और लियो गाओ द्वारा आयोजित एक डिस्कॉर्ड समुदाय के रूप में हुई, जिसका मूल लक्ष्य OpenAI के GPT-3 को दोहराना था। ऐसे मॉडलों को प्रशिक्षित करने के लिए, उन्होंने सबसे पहले 825GB का क्यूरेटेड टेक्स्ट डेटासेट द पाइल बनाया और जारी किया, जो एक मानक ओपन ट्रेनिंग कॉर्पस बन गया। इसके बाद उन्होंने GPT-Neo, GPT-J-6B, और 20-बिलियन-पैरामीटर GPT-NeoX-20B जारी किया, जो अपने समय के सबसे बड़े खुले तौर पर उपलब्ध भाषा मॉडल में से एक थे। GPT-NeoX प्रशिक्षण लाइब्रेरी और बेंचमार्किंग के लिए उद्योग-व्यापी उपयोग किए जाने वाले LM इवैल्यूएशन हार्नेस सहित उनके उपकरण, दूसरों द्वारा निर्मित बुनियादी ढाँचा बन गए। 2023 में EleutherAI को एक गैर-लाभकारी अनुसंधान संस्थान के रूप में औपचारिक रूप दिया गया, जो व्याख्या, संरेखण और मॉडल कैसे सीखते हैं इसके विज्ञान में विस्तार करता है।
तकनीकी अंतर्दृष्टि
EleutherAI के मॉडल ट्रांसफॉर्मर डिकोडर आर्किटेक्चर का उपयोग करते हैं, लेकिन GPT-J और GPT-NeoX ने टोकन स्थिति को एन्कोड करने और गति प्रशिक्षण के लिए समानांतर ध्यान-प्लस-फीडफॉरवर्ड परतों के लिए रोटरी पोजिशनल एंबेडिंग (RoPE) जैसे व्यावहारिक इंजीनियरिंग विकल्प पेश किए। महत्वपूर्ण रूप से, उन्होंने Google के TPU रिसर्च क्लाउड और CoreWeave जैसी साझेदारियों के माध्यम से दान किए गए TPU और GPU पर प्रशिक्षण दिया, जिससे पता चला कि वितरित, प्रायोजक-वित्त पोषित गणना खुले कोड के साथ जोड़े जाने पर कॉर्पोरेट डेटासेंटर का विकल्प बन सकती है।
सामरिक प्रभाव
विक्रेता रणनीति
विक्रेता रोडमैप इस बात को प्रभावित करते हैं कि आपकी टीम आगे क्या सुविधाएँ बना सकती है।
लागत और बजट
वाणिज्यिक शर्तें और तैनाती विकल्प दीर्घकालिक लागत और जोखिम को प्रभावित करते हैं।
जोखिम और सुरक्षा
कंपनी के प्रोत्साहन उत्पाद चूक, सुरक्षा स्थिति और खुलेपन को आकार देते हैं।
EleutherAI का भविष्य
EleutherAI शुद्ध मॉडल-स्केलिंग दौड़ से व्याख्या, प्रशिक्षण-डेटा पारदर्शिता और कठोर मूल्यांकन की ओर स्थानांतरित हो रहा है, ऐसे क्षेत्र जहां खुले विज्ञान की सबसे अधिक आवश्यकता है। यह समझने की अपेक्षा करें कि मॉडल आंतरिक रूप से क्या प्रतिनिधित्व करते हैं, अच्छी तरह से प्रलेखित डेटासेट जारी करने और स्वतंत्र सुरक्षा अनुसंधान का समर्थन करने पर काम जारी रहेगा। जैसे-जैसे सीमांत प्रयोगशालाएं अधिक गोपनीय होती जा रही हैं, सार्वजनिक-हित प्रतिकार के रूप में एलुथेरएआई की भूमिका, शोधकर्ताओं की अगली पीढ़ी को प्रशिक्षित करना, संभवतः किसी भी एकल मॉडल के पैरामीटर गणना से अधिक मायने रखती है।
वास्तविक विश्व कार्यान्वयन
पाइल डेटासेट का उपयोग दुनिया भर के शोधकर्ताओं द्वारा ओपन लैंग्वेज मॉडल को पुन: प्रस्तुत करने के लिए प्रशिक्षित और अध्ययन करने के लिए किया जाता है।
GPT-J-6B और GPT-NeoX-20B को स्टार्टअप और शिक्षाविदों द्वारा वाणिज्यिक एपीआई मॉडल के मुफ्त विकल्प के रूप में तैनात किया गया है।
एलएम इवैल्यूएशन हार्नेस एक मानक उपकरण है जिसका उपयोग कई प्रयोगशालाएं सैकड़ों कार्यों में मॉडल प्रदर्शन को बेंचमार्क करने के लिए करती हैं।
स्वतंत्र सुरक्षा और व्याख्यात्मकता शोधकर्ता मॉडल आंतरिक का अध्ययन करने के लिए EleutherAI के खुले वजन का उपयोग करते हैं जो बंद एपीआई छिपाते हैं।
जोखिम और रेलिंग
लॉन्च घोषणाएँ वास्तविक उत्पादन वर्कफ़्लो में स्थिरता को पीछे छोड़ सकती हैं।
एपीआई मूल्य निर्धारण या नीतिगत बदलाव रातों-रात धारणाओं को तोड़ सकते हैं।
एकल-विक्रेता निर्भरता से लॉक-इन और माइग्रेशन लागत बढ़ जाती है।
कार्यान्वयन रोडमैप
अपने स्वयं के कार्यों और डेटासेट का उपयोग करके प्रदाताओं का मूल्यांकन करें।
एकीकरण से पहले गोपनीयता, सुरक्षा और कानूनी शर्तों की समीक्षा करें।
सभी मॉडलों या विक्रेताओं के बीच फ़ॉलबैक योजना बनाए रखें।
रिलीज़ नोट्स की निगरानी करें ताकि रोडमैप परिवर्तन टीमों को आश्चर्यचकित न करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
वज़न और पूर्वाग्रह
अक्सर पूछे जाने वाले प्रश्नों
What is EleutherAI?
EleutherAI एक जमीनी स्तर का गैर-लाभकारी अनुसंधान समूह है जिसने ओपन-सोर्स बड़े भाषा मॉडल का नेतृत्व किया जब फ्रंटियर AI कॉर्पोरेट दीवारों के पीछे बंद था। यह साबित हुआ कि एक स्वयंसेवी समुदाय बंद प्रणालियों के प्रतिद्वंद्वी मॉडल बना सकता है और स्वतंत्र रूप से जारी कर सकता है, एआई अनुसंधान में भाग लेने वालों को नया आकार दे सकता है।
EleutherAI मूल रूप से 2020 में कैसे शुरू हुआ?
EleutherAI की शुरुआत तत्कालीन बंद GPT-3 को दोहराने के लिए संगठित स्वयंसेवकों के एक अनौपचारिक डिस्कॉर्ड समूह के रूप में हुई।
'द पाइल' क्या है?
पाइल एक बड़ा, विविध, खुले तौर पर जारी किया गया टेक्स्ट कॉर्पस EleutherAI है जिसे भाषा मॉडल को प्रशिक्षित करने और अध्ययन करने के लिए बनाया गया है।
इनमें से कौन सा EleutherAI भाषा मॉडल है?
GPT-NeoX-20B EleutherAI के प्रमुख ओपन मॉडल में से एक है; अन्य Google या Meta से आते हैं।
एलएम मूल्यांकन हार्नेस का उपयोग किसके लिए किया जाता है?
हार्नेस सैकड़ों बेंचमार्क पर भाषा मॉडल के मानकीकृत मूल्यांकन के लिए व्यापक रूप से अपनाया जाने वाला खुला उपकरण है।
EleutherAI ने शुरुआत में बड़े मॉडलों को प्रशिक्षित करने की गणना कैसे प्राप्त की?
कॉर्पोरेट डेटासेंटर की कमी के कारण, EleutherAI अपने मॉडलों को प्रशिक्षित करने के लिए प्रायोजक द्वारा दान किए गए TPU और GPU संसाधनों पर निर्भर था।