EleutherAI
EleutherAI ni utafiti wa msingi usio na faida ambao ulianzisha modeli za lugha huria wakati mipaka ya AI ilifungwa nyuma ya kuta za shirika.
Muhtasari
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Dive ya kina
EleutherAI ilianza Julai 2020 kama jumuiya ya Discord iliyoandaliwa na Connor Leahy, Sid Black, na Leo Gao, ambayo awali ililenga kunakili GPT-3 ya OpenAI. Ili kutoa mafunzo kwa miundo kama hii, kwanza walijenga na kutoa The Pile, hifadhidata ya maandishi iliyoratibiwa ya 825GB ambayo ikawa shirika la kawaida la mafunzo wazi. Kisha wakatoa GPT-Neo, GPT-J-6B, na kigezo cha bilioni 20 cha GPT-NeoX-20B, kati ya miundo mikubwa ya lugha iliyokuwa wazi ya wakati wao. Zana zao, ikiwa ni pamoja na maktaba ya mafunzo ya GPT-NeoX na LM Evaluation Harness iliyotumika katika tasnia nzima kwa ulinganishaji, ikawa miundombinu mingine iliyojengwa juu yake. Mnamo 2023 EleutherAI ilirasimishwa kama taasisi ya utafiti isiyo ya faida, ikipanuka katika ufasiri, upatanishi, na sayansi ya jinsi wanamitindo hujifunza.
Ufahamu wa Kiufundi
Miundo ya EleutherAI hutumia usanifu wa avkodare ya transfoma, lakini GPT-J na GPT-NeoX ilianzisha chaguo za kiuhandisi za vitendo kama vile Upachikaji wa Nafasi za Rotary (Kamba) kwa usimbaji nafasi za tokeni na tabaka sambamba za usikivu-plus-mlisho ili kuongeza kasi ya mafunzo. Jambo kuu ni kwamba walipata mafunzo kwenye TPU na GPU zilizochangwa kupitia ushirikiano kama vile Wingu la Utafiti la TPU la Google na CoreWeave, kuonyesha kwamba kompyuta iliyosambazwa na inayofadhiliwa na wafadhili inaweza kuchukua nafasi ya kituo cha data cha kampuni inapooanishwa na msimbo huria.
Athari za kimkakati
Vendor strategy
Ramani za barabara za wachuuzi huathiri vipengele ambavyo timu yako inaweza kuunda baadaye.
Cost and budget
Masharti ya kibiashara na chaguzi za kupeleka huathiri gharama na hatari ya muda mrefu.
Risk and safety
Vivutio vya kampuni hutengeneza chaguo-msingi za bidhaa, mkao wa usalama na uwazi.
Mustakabali wa EleutherAI
EleutherAI inahama kutoka mbio safi ya kuongeza kielelezo kuelekea ufasiri, uwazi wa data ya mafunzo, na tathmini ya kina, maeneo ambayo sayansi huria inahitajika zaidi. Tarajia kazi inayoendelea ya kuelewa miundo ya ndani inawakilisha, kutoa seti za data zilizohifadhiwa vizuri na kusaidia utafiti huru wa usalama. Kadiri maabara za mipakani zinavyokua kwa usiri zaidi, jukumu la EleutherAI kama mpinzani wa maslahi ya umma, kutoa mafunzo kwa kizazi kijacho cha watafiti, huenda ni muhimu zaidi kuliko hesabu ya vigezo vya muundo wowote unaosafirisha.
Utekelezaji wa Ulimwengu Halisi
Seti ya data ya Rundo inatumiwa na watafiti ulimwenguni kote kutoa mafunzo na kusoma modeli za lugha huria kwa njia ya kuzaliana.
GPT-J-6B na GPT-NeoX-20B hutumwa na wanaoanza na wasomi kama njia mbadala za bila malipo kwa miundo ya kibiashara ya API.
LM Evaluation Harness ni zana ya kawaida ambayo maabara nyingi hutumia ili kupima utendaji wa kielelezo katika mamia ya kazi.
Watafiti huru wa usalama na ukalimani hutumia uzani wazi wa EleutherAI kusoma muundo wa ndani ambao API zilizofungwa hujificha.
Hatari & Walinzi
Matangazo ya uzinduzi yanaweza kushinda uthabiti katika utendakazi halisi wa uzalishaji.
Bei za API au mabadiliko ya sera yanaweza kuvunja mawazo mara moja.
Utegemezi wa muuzaji mmoja huongeza gharama za kufunga na kuhama.
Ramani ya Utekelezaji
Tathmini watoa huduma kwa kutumia kazi na seti zako za data.
Kagua faragha, usalama na masharti ya kisheria kabla ya kuunganishwa.
Dumisha mpango mbadala kwa miundo au wachuuzi.
Fuatilia maelezo ya toleo ili mabadiliko ya ramani ya barabara yasiwashangaze timu.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uzito & Upendeleo
Maswali yanayoulizwa mara kwa mara
What is EleutherAI?
EleutherAI ni utafiti wa msingi usio na faida ambao ulianzisha modeli za lugha huria wakati mipaka ya AI ilifungwa nyuma ya kuta za shirika. Ilithibitisha kuwa jumuiya ya kujitolea inaweza kujenga na kuachilia kwa hiari miundo pinzani ya mifumo iliyofungwa, kuunda upya nani anapata kushiriki katika utafiti wa AI.
EleutherAI ilianzaje hapo awali mnamo 2020?
EleutherAI ilianza kama kikundi kisicho rasmi cha wajitolea wa Discord kilichopangwa ili kuiga GPT-3 iliyokuwa imefungwa wakati huo.
'The Pile' ni nini?
Rundo ni nakala kubwa, tofauti, iliyotolewa wazi ya EleutherAI iliyojengwa ili kutoa mafunzo na kusoma modeli za lugha.
Ni ipi kati ya hizi ni modeli ya lugha ya EleutherAI?
GPT-NeoX-20B ni mojawapo ya mifano ya wazi ya EleutherAI; wengine wanatoka Google au Meta.
Kiunga cha Tathmini cha LM kinatumika kwa ajili gani?
Kuunganisha ni zana iliyo wazi iliyopitishwa na wengi kwa tathmini sanifu ya miundo ya lugha kwenye mamia ya vigezo.
Je, EleutherAI ilipata vipi hesabu ya kufunza miundo mikubwa mapema?
Kwa kukosa kituo cha data cha kampuni, EleutherAI ilitegemea rasilimali za TPU na GPU zilizochangwa na wafadhili kutoa mafunzo kwa miundo yake.