አጠቃላይ እይታ
EleutherAI ድንበር AI ከኮርፖሬት ግድግዳዎች በስተጀርባ ተቆልፎ በነበረበት ጊዜ ክፍት ምንጭ ትልቅ የቋንቋ ሞዴሎችን በአቅኚነት ያበረከተ ሕዝባዊ ለትርፍ ያልተቋቋመ የጥናት ቡድን ነው። የበጎ ፈቃደኞች ማህበረሰብ የተዘጉ ስርዓቶችን የሚወዳደሩ ሞዴሎችን መገንባት እና በነጻ መልቀቅ እንደሚችል አረጋግጧል፣ ማን በ AI ጥናት ውስጥ መሳተፍ እንደሚችል በመቅረጽ።
EleutherAI በደንብ የተረዳው በስትራቴጂ፣ በሞዴል ተደራሽነት፣ በመድረክ ውሳኔዎች እና በስነ-ምህዳር አጋርነት ነው።
ጥልቅ ዳይቭ
EleutherAI በጁላይ 2020 በConnor Leahy፣ Sid Black እና Leo Gao የተደራጀ የDicord ማህበረሰብ ሆኖ የጀመረ ሲሆን በመጀመሪያ የOpenAI GPT-3ን ለመድገም ነበር። እንደዚህ አይነት ሞዴሎችን ለማሰልጠን በመጀመሪያ ደረጃውን የጠበቀ ክፍት የስልጠና ኮርፐስ የሆነውን 825GB የተሰበሰበ የጽሁፍ ዳታ የሆነውን The Pileን ገንብተው አወጡት። ከዚያም በጊዜያቸው ካሉት ትላልቅ የቋንቋ ሞዴሎች መካከል GPT-Neo፣ GPT-J-6B እና 20-ቢሊየን-መለኪያ GPT-NeoX-20Bን ለቋል። የጂፒቲ-ኒዮክስ ማሰልጠኛ ቤተመፃህፍት እና LM Evaluation Harnessን ጨምሮ መሳሪያዎቻቸው ኢንደስትሪ-ሰፊን ለቤንችማርክ የተጠቀሙ ሲሆን ሌሎች የተገነቡ መሠረተ ልማት ሆኑ። እ.ኤ.አ. በ 2023 EleutherAI እንደ ለትርፍ ያልተቋቋመ የምርምር ተቋም መደበኛ ሆኖ ወደ መተርጎም ፣ አሰላለፍ እና ሞዴሎች እንዴት እንደሚማሩ ሳይንስን አስፍቷል።
ቴክኒካዊ ግንዛቤ
የEleutherAI ሞዴሎች የትራንስፎርመር ዲኮደር አርክቴክቸርን ይጠቀማሉ፣ነገር ግን GPT-J እና GPT-NeoX እንደ Rotary Positional Embeddings (RoPE) ያሉ ተግባራዊ የምህንድስና ምርጫዎችን አስተዋውቀዋል የማስመሰያ ቦታዎችን ኢንኮዲንግ እና ትይዩ ትኩረትን ከመደመር-መጋቢ ንጣፎችን ለማፋጠን። በወሳኝ መልኩ፣ እንደ Google's TPU Research Cloud እና CoreWeave ባሉ ሽርክናዎች በተሰጡ TPUs እና ጂፒዩዎች ላይ የሰለጠኑ ሲሆን ይህም የተሰራጨ፣ በስፖንሰር የተደገፈ ስሌት ከክፍት ኮድ ጋር ሲጣመር የኮርፖሬት ዳታ ሴንተርን ሊተካ እንደሚችል ያሳያል።
EleutherAI ማስተር
EleutherAI ድንበር AI ከኮርፖሬት ግድግዳዎች በስተጀርባ ተቆልፎ በነበረበት ጊዜ ክፍት ምንጭ ትልቅ የቋንቋ ሞዴሎችን በአቅኚነት ያበረከተ ሕዝባዊ ለትርፍ ያልተቋቋመ የጥናት ቡድን ነው። የበጎ ፈቃደኞች ማህበረሰብ የተዘጉ ስርዓቶችን የሚወዳደሩ ሞዴሎችን መገንባት እና በነጻ መልቀቅ እንደሚችል አረጋግጧል፣ ማን በ AI ጥናት ውስጥ መሳተፍ እንደሚችል በመቅረጽ። EleutherAI በደንብ የተረዳው በስትራቴጂ፣ በሞዴል ተደራሽነት፣ በመድረክ ውሳኔዎች እና በስነ-ምህዳር አጋርነት ነው። ጥልቅ ግንዛቤን ለመገንባት፣ EleutherAIን እንደ ኦፕሬሽን ሞዴል እንጂ አንድ ባህሪ አይደለም፡ የሚፈለጉትን ውጤቶች ይግለጹ፣ ግምቶችን ያብራሩ እና ስርዓቱ ምን ማድረግ እንደሚችል አሁንም የባለሙያዎችን ፍርድ ከሚያስፈልገው ለይ።
በተግባር፣ EleutherAI ን የሚጠቀሙ ጠንካራ ቡድኖች የሻጭ ስትራቴጂን፣ የመንገድ ካርታ አስተማማኝነትን እና የመቆለፍ አደጋን ከመፈፀምዎ በፊት ይገመግማሉ። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።
የአቅራቢዎች የመንገድ ካርታዎች ቡድንዎ በቀጣይ መገንባት በሚችላቸው ባህሪያት ላይ ተጽዕኖ ያሳድራል። በተመሳሳይ ጊዜ የማስጀመሪያ ማስታወቂያዎች በእውነተኛ የምርት የስራ ፍሰቶች ውስጥ ካለው መረጋጋት ሊበልጡ ይችላሉ። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።
ስልታዊ ተጽእኖ
የአቅራቢዎች የመንገድ ካርታዎች ቡድንዎ በቀጣይ መገንባት በሚችላቸው ባህሪያት ላይ ተጽዕኖ ያሳድራል።
የአቅራቢዎች የመንገድ ካርታዎች ቡድንዎ በቀጣይ መገንባት በሚችላቸው ባህሪያት ላይ ተጽዕኖ ያሳድራል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የንግድ ውሎች እና የማሰማራት አማራጮች የረጅም ጊዜ ወጪን እና አደጋን ይነካሉ።
የንግድ ውሎች እና የማሰማራት አማራጮች የረጅም ጊዜ ወጪን እና አደጋን ይነካሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የኩባንያው ማበረታቻዎች የምርት ነባሪዎችን፣ የደህንነት አቋምን እና ክፍትነትን ይቀርጻሉ።
የኩባንያው ማበረታቻዎች የምርት ነባሪዎችን፣ የደህንነት አቋምን እና ክፍትነትን ይቀርጻሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
የPile ዳታ ስብስብ በዓለም ዙሪያ ባሉ ተመራማሪዎች ክፍት የቋንቋ ሞዴሎችን ደጋግሞ ለማሰልጠን እና ለማጥናት ጥቅም ላይ ይውላል።
GPT-J-6B እና GPT-NeoX-20B በንግድ ኤፒአይ ሞዴሎች እንደ ነፃ አማራጭ በጅማሪዎች እና ምሁራን ተሰማርተዋል።
LM Evaluation Harness በብዙ መቶዎች በሚቆጠሩ ተግባራት ውስጥ የሞዴል አፈጻጸምን ለመለካት ብዙ ቤተ ሙከራዎች የሚጠቀሙበት መደበኛ መሳሪያ ነው።
ገለልተኛ የደህንነት እና አተረጓጎም ተመራማሪዎች የተዘጉ ኤፒአይዎችን የሚደብቁ የውስጥ አካላትን ለማጥናት የEleutherAI ክፍት ክብደቶችን ይጠቀማሉ።
የትግበራ ቅጦች
EleutherAI በተግባር
የPile ዳታ ስብስብ በዓለም ዙሪያ ባሉ ተመራማሪዎች ክፍት የቋንቋ ሞዴሎችን ደጋግሞ ለማሰልጠን እና ለማጥናት ጥቅም ላይ ይውላል።
የPile ዳታ ስብስብ በአለም አቀፍ ደረጃ በተመራማሪዎች የክፍት ቋንቋ ሞዴሎችን በድግግሞሽ ለማሰልጠን እና ለማጥናት ጥቅም ላይ ይውላል ቡድኖች አብዛኛውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰውን ልጅ የመጨመር መንገድ ሲያሳዩ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።
EleutherAI በተግባር
GPT-J-6B እና GPT-NeoX-20B በንግድ ኤፒአይ ሞዴሎች እንደ ነፃ አማራጭ በጅማሪዎች እና ምሁራን ተሰማርተዋል።
GPT-J-6B እና GPT-NeoX-20B በጅማሪዎች እና ምሁራን ለንግድ ኤፒአይ ሞዴሎች ነፃ አማራጭ ሆነው ተዘርግተዋል ቡድኖቹ ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ ፣ለጫፍ ጉዳዮች የሰውን እድገት መንገድ ይጠብቃሉ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
EleutherAI በተግባር
LM Evaluation Harness በብዙ መቶዎች በሚቆጠሩ ተግባራት ውስጥ የሞዴል አፈጻጸምን ለመለካት ብዙ ቤተ ሙከራዎች የሚጠቀሙበት መደበኛ መሳሪያ ነው።
LM Evaluation Harness ብዙ ቤተ ሙከራዎች የሞዴል አፈጻጸምን በመቶዎች በሚቆጠሩ ተግባራት ለመመዘን የሚጠቀሙበት መደበኛ መሳሪያ ነው ቡድኖች አብዛኛውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድ ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
EleutherAI በተግባር
ገለልተኛ የደህንነት እና አተረጓጎም ተመራማሪዎች የተዘጉ ኤፒአይዎችን የሚደብቁ የውስጥ አካላትን ለማጥናት የEleutherAI ክፍት ክብደቶችን ይጠቀማሉ።
ገለልተኛ የደህንነት እና አተረጓጎም ተመራማሪዎች የEleutherAI ክፍት ክብደቶችን በመጠቀም የተዘጉ ኤፒአይዎችን የሚደብቁትን የሞዴል ውስጣዊ አካላት ለማጥናት ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ይጠብቃሉ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
አደጋዎች እና የጥበቃ መንገዶች
የማስጀመሪያ ማስታወቂያዎች በእውነተኛ የምርት የስራ ፍሰቶች ውስጥ ያለውን መረጋጋት ሊበልጡ ይችላሉ።
የኤፒአይ ዋጋ ወይም የመመሪያ ፈረቃ በአንድ ጀምበር ግምቶችን ሊሰብር ይችላል።
የነጠላ አቅራቢ ጥገኝነት የመቆለፍ እና የስደት ወጪዎችን ይጨምራል።
የትግበራ ፍኖተ ካርታ
የእራስዎን ተግባራት እና የውሂብ ስብስቦች በመጠቀም አቅራቢዎችን ይገምግሙ።
የእራስዎን ተግባራት እና የውሂብ ስብስቦች በመጠቀም አቅራቢዎችን ይገምግሙ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ከመዋሃድ በፊት ግላዊነትን፣ ደህንነትን እና የህግ ውሎችን ይገምግሙ።
ከመዋሃድ በፊት ግላዊነትን፣ ደህንነትን እና የህግ ውሎችን ይገምግሙ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
በሞዴሎች ወይም አቅራቢዎች ላይ የውድቀት እቅድን ያቆዩ።
በሞዴሎች ወይም አቅራቢዎች ላይ የውድቀት እቅድን ያቆዩ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
የመንገድ ካርታ ለውጦች ቡድኖችን እንዳያስደንቁ የመልቀቂያ ማስታወሻዎችን ይከታተሉ።
የመንገድ ካርታ ለውጦች ቡድኖችን እንዳያስደንቁ የመልቀቂያ ማስታወሻዎችን ይከታተሉ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።