EleutherAI
EleutherAI jẹ akojọpọ iwadi ti ko ni ere ti koriko ti o ṣe aṣáájú-ọnà ṣiṣi-orisun awọn awoṣe ede nla nigbati aala AI ti wa ni titiipa lẹhin awọn odi ile-iṣẹ.
Akopọ
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Jin Dive
EleutherAI bẹrẹ ni Oṣu Keje ọdun 2020 gẹgẹbi agbegbe Discord ti a ṣeto nipasẹ Connor Leahy, Sid Black, ati Leo Gao, ni ipilẹṣẹ lati tun ṣe OpenAI's GPT-3. Lati kọ iru awọn awoṣe bẹ, wọn kọkọ kọ ati tu silẹ The Pile, iwe data ọrọ ti a ṣafọtọ 825GB kan ti o di koposi ikẹkọ ṣiṣi boṣewa. Lẹhinna wọn tu GPT-Neo, GPT-J-6B, ati 20-billion-parameter GPT-NeoX-20B, laarin awọn awoṣe ede ti o tobi julọ ti o wa ni gbangba ti akoko wọn. Awọn irinṣẹ wọn, pẹlu ile-ikawe ikẹkọ GPT-NeoX ati Harness Igbelewọn LM ti a lo jakejado ile-iṣẹ fun aṣepari, di awọn amayederun awọn miiran ti a ṣe lori. Ni 2023 EleutherAI ti ṣe agbekalẹ gẹgẹbi ile-ẹkọ iwadii ai-jere, ti n gbooro si itumọ, titopọ, ati imọ-jinlẹ ti bii awọn awoṣe ṣe kọ ẹkọ.
Imọ-imọ-ẹrọ
Awọn awoṣe EleutherAI lo faaji decoder transformer, ṣugbọn GPT-J ati GPT-NeoX ṣe agbekalẹ awọn yiyan imọ-ẹrọ to wulo bii Awọn ifibọ ipo Rotari (RoPE) fun fifi koodu si awọn ipo ami ati awọn ifarabalẹ-afikun-ifunni ni afiwe si ikẹkọ iyara. Ni pataki, wọn ṣe ikẹkọ lori awọn TPUs ati awọn GPU ti a ṣetọrẹ nipasẹ awọn ajọṣepọ bii Google's TPU Research Cloud ati CoreWeave, ti n fihan pe pinpin, iṣiro-owo onigbowo le paarọ fun datacenter ile-iṣẹ nigbati o ba so pọ pẹlu koodu ṣiṣi.
Ipa Ilana
Ilana olutaja
Awọn maapu opopona olutaja ni ipa kini awọn ẹya ti ẹgbẹ rẹ le kọ ni atẹle.
Iye owo ati isuna
Awọn ofin iṣowo ati awọn aṣayan imuṣiṣẹ ni ipa lori idiyele igba pipẹ ati eewu.
Ewu ati ailewu
Awọn imoriya ile-iṣẹ ṣe apẹrẹ awọn abawọn ọja, iduro ailewu, ati ṣiṣi.
Ojo iwaju ti EleutherAI
EleutherAI n yipada lati ere-ije iwọn awoṣe mimọ si ọna itumọ, akoyawo data ikẹkọ, ati igbelewọn lile, awọn agbegbe nibiti imọ-jinlẹ ti nilo julọ. Reti iṣẹ ti o tẹsiwaju lori oye kini awọn awoṣe ti inu inu, itusilẹ awọn iwe data ti a gbasilẹ daradara, ati atilẹyin iwadii aabo ominira. Bi awọn ile-iṣẹ aala ti n dagba ni aṣiri diẹ sii, ipa EleutherAI gẹgẹbi iwuwo anfani gbogbo eniyan, ikẹkọ iran ti nbọ ti awọn oniwadi, o ṣee ṣe awọn ọrọ diẹ sii ju kika paramita ti eyikeyi awoṣe ẹyọkan ti o firanṣẹ.
Real-World imuse
Akopọ data Pile jẹ lilo nipasẹ awọn oniwadi ni kariaye lati ṣe ikẹkọ ati ṣe iwadi awọn awoṣe ede ṣiṣi silẹ ni atunṣe.
GPT-J-6B ati GPT-NeoX-20B ti wa ni ransogun nipasẹ awọn ibẹrẹ ati omowe bi free yiyan si awọn awoṣe API ti owo.
Harness Igbelewọn LM jẹ ọpa boṣewa ti ọpọlọpọ awọn laabu lo lati ṣe iṣẹ awoṣe ala-ilẹ kọja awọn ọgọọgọrun awọn iṣẹ ṣiṣe.
Aabo ominira ati awọn oniwadi itumọ lo awọn iwọn ṣiṣi ti EleutherAI lati ṣe iwadi awọn inu inu awoṣe ti o pa awọn APIs pamọ.
Awọn ewu & Awọn ọna iṣọ
Awọn ikede ifilọlẹ le ju iduroṣinṣin lọ ni awọn iṣan-iṣẹ iṣelọpọ gidi.
Ifowoleri API tabi awọn iyipada eto imulo le fọ awọn arosinu ni alẹ.
Igbẹkẹle olutaja ẹyọkan ṣe alekun titiipa-inu ati awọn idiyele ijira.
Ilana Ilana imuse
Ṣe ayẹwo awọn olupese nipa lilo awọn iṣẹ ṣiṣe tirẹ ati awọn ipilẹ data.
Ṣe atunyẹwo asiri, aabo, ati awọn ofin ofin ṣaaju iṣọpọ.
Ṣetọju eto ipadabọ kọja awọn awoṣe tabi awọn olutaja.
Bojuto awọn akọsilẹ itusilẹ nitoribẹẹ awọn iyipada maapu oju-ọna ma ṣe iyalẹnu awọn ẹgbẹ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn iwuwo & Awọn ojuṣaaju
Awọn ibeere ti a beere nigbagbogbo
What is EleutherAI?
EleutherAI jẹ akojọpọ iwadi ti ko ni ere ti koriko ti o ṣe aṣáájú-ọnà ṣiṣi-orisun awọn awoṣe ede nla nigbati aala AI ti wa ni titiipa lẹhin awọn odi ile-iṣẹ. O fihan pe agbegbe oluyọọda le kọ ati tu awọn awoṣe larọwọto ti njijadu awọn eto pipade, ti n ṣe atunto ẹniti o ni lati kopa ninu iwadii AI.
Bawo ni EleutherAI ṣe bẹrẹ ni akọkọ ni 2020?
EleutherAI bẹrẹ gẹgẹbi akojọpọ Discord ti kii ṣe alaye ti awọn oluyọọda ti a ṣeto lati tun ṣe GPT-3 ti o tiipa lẹhinna.
Kini 'The Pile'?
Pile jẹ titobi nla, oniruuru, ti a tu silẹ ni gbangba corpus EleutherAI ti a ṣe lati kọ ati ṣe ikẹkọ awọn awoṣe ede.
Ewo ninu iwọnyi jẹ awoṣe ede EleutherAI?
GPT-NeoX-20B jẹ ọkan ninu awọn awoṣe ṣiṣi ti EleutherAI; awọn miiran wa lati Google tabi Meta.
Kini ijanu Igbelewọn LM ti a lo fun?
Ijanu jẹ ohun elo ṣiṣi ti a gba ni ibigbogbo fun igbelewọn idiwọn ti awọn awoṣe ede lori awọn ọgọọgọrun awọn ipilẹ.
Bawo ni EleutherAI ṣe gba iṣiro lati kọ awọn awoṣe nla ni kutukutu?
Ti ko ni ile-iṣẹ data ile-iṣẹ, EleutherAI gbarale TPU onigbowo ati awọn orisun GPU lati kọ awọn awoṣe rẹ.