EleutherAI መመሪያ | AI Understanding

አጠቃላይ እይታ

It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.

ጥልቅ ዳይቭ

EleutherAI በጁላይ 2020 በConnor Leahy፣ Sid Black እና Leo Gao የተደራጀ የDicord ማህበረሰብ ሆኖ የጀመረ ሲሆን በመጀመሪያ የOpenAI GPT-3ን ለመድገም ነበር። እንደዚህ አይነት ሞዴሎችን ለማሰልጠን በመጀመሪያ ደረጃውን የጠበቀ ክፍት የስልጠና ኮርፐስ የሆነውን 825GB የተሰበሰበ የጽሁፍ ዳታ የሆነውን The Pileን ገንብተው አወጡት። ከዚያም በጊዜያቸው ካሉት ትላልቅ የቋንቋ ሞዴሎች መካከል GPT-Neo፣ GPT-J-6B እና 20-ቢሊየን-መለኪያ GPT-NeoX-20Bን ለቋል። የጂፒቲ-ኒዮክስ ማሰልጠኛ ቤተመፃህፍት እና LM Evaluation Harnessን ጨምሮ መሳሪያዎቻቸው ኢንደስትሪ-ሰፊን ለቤንችማርክ የተጠቀሙ ሲሆን ሌሎች የተገነቡ መሠረተ ልማት ሆኑ። እ.ኤ.አ. በ 2023 EleutherAI እንደ ለትርፍ ያልተቋቋመ የምርምር ተቋም መደበኛ ሆኖ ወደ መተርጎም ፣ አሰላለፍ እና ሞዴሎች እንዴት እንደሚማሩ ሳይንስን አስፍቷል።

ቴክኒካዊ ግንዛቤ

የEleutherAI ሞዴሎች የትራንስፎርመር ዲኮደር አርክቴክቸርን ይጠቀማሉ፣ነገር ግን GPT-J እና GPT-NeoX እንደ Rotary Positional Embeddings (RoPE) ያሉ ተግባራዊ የምህንድስና ምርጫዎችን አስተዋውቀዋል የማስመሰያ ቦታዎችን ኢንኮዲንግ እና ትይዩ ትኩረትን ከመደመር-መጋቢ ንጣፎችን ለማፋጠን። በወሳኝ መልኩ፣ እንደ Google's TPU Research Cloud እና CoreWeave ባሉ ሽርክናዎች በተሰጡ TPUs እና ጂፒዩዎች ላይ የሰለጠኑ ሲሆን ይህም የተሰራጨ፣ በስፖንሰር የተደገፈ ስሌት ከክፍት ኮድ ጋር ሲጣመር የኮርፖሬት ዳታ ሴንተርን ሊተካ እንደሚችል ያሳያል።

ስልታዊ ተጽእኖ

የአቅራቢ ስትራቴጂ

የአቅራቢዎች የመንገድ ካርታዎች ቡድንዎ በቀጣይ መገንባት በሚችላቸው ባህሪያት ላይ ተጽዕኖ ያሳድራል።

ወጪ እና በጀት

የንግድ ውሎች እና የማሰማራት አማራጮች የረጅም ጊዜ ወጪን እና አደጋን ይነካሉ።

አደጋ እና ደህንነት

የኩባንያው ማበረታቻዎች የምርት ነባሪዎችን፣ የደህንነት አቋምን እና ክፍትነትን ይቀርጻሉ።

የ EleutherAI የወደፊት

EleutherAI ከንጹህ የሞዴል-ልኬት ውድድር ወደ አተረጓጎም፣ የስልጠና-መረጃ ግልፅነት እና ጥብቅ ግምገማ፣ ክፍት ሳይንስ በጣም ወደ ሚያስፈልጉ ቦታዎች እየተሸጋገረ ነው። ሞዴሎች ከውስጥ የሚወክሉትን ለመረዳት፣ በደንብ የተመዘገቡ የውሂብ ስብስቦችን በመልቀቅ እና ገለልተኛ የደህንነት ጥናትን በመደገፍ ላይ ቀጣይ ስራዎችን ይጠብቁ። የድንበር ቤተ-ሙከራዎች ይበልጥ ሚስጥራዊ እያደጉ ሲሄዱ፣ EleutherAI የሚጫወተው ሚና እንደ የህዝብ ፍላጎት ሚዛን፣ ቀጣዩን ትውልድ ተመራማሪዎች በማሰልጠን፣ ከምትልካቸው ነጠላ ሞዴሎች መለኪያ የበለጠ ሊሆን ይችላል።

የእውነተኛ-ዓለም አተገባበር

የPile ዳታ ስብስብ በዓለም ዙሪያ ባሉ ተመራማሪዎች ክፍት የቋንቋ ሞዴሎችን ደጋግሞ ለማሰልጠን እና ለማጥናት ጥቅም ላይ ይውላል።

GPT-J-6B እና GPT-NeoX-20B በንግድ ኤፒአይ ሞዴሎች እንደ ነፃ አማራጭ በጅማሪዎች እና ምሁራን ተሰማርተዋል።

LM Evaluation Harness በብዙ መቶዎች በሚቆጠሩ ተግባራት ውስጥ የሞዴል አፈጻጸምን ለመለካት ብዙ ቤተ ሙከራዎች የሚጠቀሙበት መደበኛ መሳሪያ ነው።

ገለልተኛ የደህንነት እና አተረጓጎም ተመራማሪዎች የተዘጉ ኤፒአይዎችን የሚደብቁ የውስጥ አካላትን ለማጥናት የEleutherAI ክፍት ክብደቶችን ይጠቀማሉ።

አደጋዎች እና የጥበቃ መንገዶች

የማስጀመሪያ ማስታወቂያዎች በእውነተኛ የምርት የስራ ፍሰቶች ውስጥ ያለውን መረጋጋት ሊበልጡ ይችላሉ።

የኤፒአይ ዋጋ ወይም የመመሪያ ፈረቃ በአንድ ጀምበር ግምቶችን ሊሰብር ይችላል።

የነጠላ አቅራቢ ጥገኝነት የመቆለፍ እና የስደት ወጪዎችን ይጨምራል።

የትግበራ ፍኖተ ካርታ

የእራስዎን ተግባራት እና የውሂብ ስብስቦች በመጠቀም አቅራቢዎችን ይገምግሙ።

ከመዋሃድ በፊት ግላዊነትን፣ ደህንነትን እና የህግ ውሎችን ይገምግሙ።

በሞዴሎች ወይም አቅራቢዎች ላይ የውድቀት እቅድን ያቆዩ።

የመንገድ ካርታ ለውጦች ቡድኖችን እንዳያስደንቁ የመልቀቂያ ማስታወሻዎችን ይከታተሉ።

ማሰስዎን ይቀጥሉ

OpenAI

መሪ የመሠረት-ሞዴል አቅራቢዎች እንዴት እንደሚሠሩ ይመልከቱ።

መመሪያ ያንብቡ

ክፍት ምንጭ AI

ክፍት እና የተዘጉ ሞዴል ምህዳሮችን ያወዳድሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the EleutherAI quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ክብደት እና አድሎአዊነት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is EleutherAI?

EleutherAI ድንበር AI ከኮርፖሬት ግድግዳዎች በስተጀርባ ተቆልፎ በነበረበት ጊዜ ክፍት ምንጭ ትልቅ የቋንቋ ሞዴሎችን በአቅኚነት ያበረከተ ሕዝባዊ ለትርፍ ያልተቋቋመ የጥናት ቡድን ነው። የበጎ ፈቃደኞች ማህበረሰብ የተዘጉ ስርዓቶችን የሚወዳደሩ ሞዴሎችን መገንባት እና በነጻ መልቀቅ እንደሚችል አረጋግጧል፣ ማን በ AI ጥናት ውስጥ መሳተፍ እንደሚችል በመቅረጽ።

EleutherAI በመጀመሪያ በ2020 እንዴት ጀመረ?

EleutherAI በወቅቱ የተዘጋውን GPT-3 ለመድገም እንደ መደበኛ ያልሆነ የ Discord የበጎ ፈቃደኞች ስብስብ ጀምሯል።

'The Pile' ምንድን ነው?

ፓይሉ የቋንቋ ሞዴሎችን ለማሰልጠን እና ለማጥናት የተሰራ ትልቅ፣ የተለያየ፣ በግልፅ የተለቀቀ የፅሁፍ ኮርፐስ EleutherAI ነው።

ከእነዚህ ውስጥ የEleutherAI ቋንቋ ሞዴል የትኛው ነው?

GPT-NeoX-20B የ EleutherAI ዋና ክፍት ሞዴሎች አንዱ ነው; ሌሎቹ የመጡት ከGoogle ወይም Meta ነው።

የኤል.ኤም.ኤ ግምገማ ሃርስስ ለምን ጥቅም ላይ ይውላል?

ማሰሪያው በመቶዎች በሚቆጠሩ መመዘኛዎች ላይ የቋንቋ ሞዴሎችን ደረጃውን የጠበቀ ግምገማ በስፋት ተቀባይነት ያለው ክፍት መሳሪያ ነው።

EleutherAI ትልልቅ ሞዴሎችን ቀደም ብሎ ለማሰልጠን ኮምፒዩተሩን እንዴት አገኘው?

የኮርፖሬት ዳታ ሴንተር ስለሌለው፣ EleutherAI ሞዴሎቹን ለማሰልጠን በስፖንሰር በተለገሰው TPU እና ጂፒዩ ሃብቶች ላይ ተመርኩዞ ነበር።