Nchịkọta
EleutherAI bụ mkpokọta nyocha na-anaghị akwụ ụgwọ nke sụrụ ụzọ mepere emepe ụdị asụsụ buru ibu mgbe ekpochiru oke AI n'azụ mgbidi ụlọ ọrụ. Ọ gosipụtara na obodo ndị ọrụ afọ ofufo nwere ike wulite ma hapụkwa ụdị nke na-emegide sistemụ mechiri emechi, na-emegharị onye ga-esonye na nyocha AI.
EleutherAI kacha aghọta nke ọma n'ihe gbasara atụmatụ, ịnweta ihe nlereanya, mkpebi ikpo okwu, na mmekorita gburugburu ebe obibi.
Ime miri emi
EleutherAI malitere na Julaị 2020 dị ka obodo Discord nke Connor Leahy, Sid Black, na Leo Gao haziri, na-achọbu ịmegharị OpenAI's GPT-3. Iji zụọ ụdịdị dị otú ahụ, ha buru ụzọ wuo ma wepụta The Pile, ihe ndekọ ederede 825GB chepụtara nke ghọrọ ọkọlọtọ ọzụzụ ọzụzụ mepere emepe. Ha weputara GPT-Neo, GPT-J-6B, na 20-billion-parameter GPT-NeoX-20B, n'etiti ụdị asụsụ a na-emepe emepe n'oge ha. Ngwá ọrụ ha, gụnyere ọbá akwụkwọ ọzụzụ GPT-NeoX na LM Evaluation Harness jiri ụlọ ọrụ n'obosara maka benchmarking, ghọrọ akụrụngwa ndị ọzọ arụnyere na ya. Na 2023 EleutherAI ahaziri dị ka ụlọ ọrụ nyocha anaghị akwụ ụgwọ, na-agbasawanye n'ime nkọwa, nhazi na sayensị nke otu ụdị si amụta.
Nghọta nka nka
Modelsdị EleutherAI na-eji ihe nrụzi mgbanwe mgbanwe mgbanwe, mana GPT-J na GPT-NeoX webatara nhọrọ injinịa bara uru dị ka Rotary Positional Embeddings (RoPE) maka itinye ọnọdụ akara yana nlebara anya-gbakwunyere-nkwado na-enye ọzụzụ na-agba ọsọ ọsọ. N'ụzọ dị mkpa, ha zụrụ azụ na TPU na GPU ndị enyere site na mmekorita dị ka Google's TPU Research Cloud na CoreWeave, na-egosi na nkesa na-ekesa, nkwado ego nwere ike dochie anya datacenter ụlọ ọrụ mgbe ejikọtara ya na koodu mepere emepe.
Ịmepụta EleutherAI
EleutherAI bụ mkpokọta nyocha na-anaghị akwụ ụgwọ nke sụrụ ụzọ mepere emepe ụdị asụsụ buru ibu mgbe ekpochiru oke AI n'azụ mgbidi ụlọ ọrụ. Ọ gosipụtara na obodo ndị ọrụ afọ ofufo nwere ike wulite ma hapụkwa ụdị nke na-emegide sistemụ mechiri emechi, na-emegharị onye ga-esonye na nyocha AI. EleutherAI kacha aghọta nke ọma n'ihe gbasara atụmatụ, ịnweta ihe nlereanya, mkpebi ikpo okwu, na mmekorita gburugburu ebe obibi. Iji wuo nghọta miri emi, mesoo EleutherAI dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji EleutherAI na-enyocha atụmatụ ndị na-ere ahịa, ntụkwasị obi nke map ụzọ, yana ihe egwu mkpọchi tupu ha emee. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Ụzọ ndị na-ere ahịa na-emetụta atụmatụ ndị otu gị nwere ike ịrụ na-esote. N'otu oge ahụ, Mwepụta ọkwa nwere ike karịa kwụsie ike na ezigbo mmepụta workflows. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Ụzọ ndị na-ere ahịa na-emetụta atụmatụ ndị otu gị nwere ike ịrụ na-esote.
Ụzọ ndị na-ere ahịa na-emetụta atụmatụ ndị otu gị nwere ike ịrụ na-esote. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Usoro azụmahịa na nhọrọ mbugharị na-emetụta ọnụ ahịa ogologo oge yana ihe egwu.
Usoro azụmahịa na nhọrọ mbugharị na-emetụta ọnụ ahịa ogologo oge yana ihe egwu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ihe mkpali ụlọ ọrụ na-akpụzi ndabara ngwaahịa, ọnọdụ nchekwa, na oghere.
Ihe mkpali ụlọ ọrụ na-akpụzi ndabara ngwaahịa, ọnọdụ nchekwa, na oghere. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ndị na-eme nchọpụta n'ụwa niile na-eji ihe ndekọ data ahụ iji zụọ ma mụọ ụdị asụsụ mepere emepe nke ọma.
GPT-J-6B na GPT-NeoX-20B bụ ndị mmalite na ndị gụrụ akwụkwọ na-ebunye dị ka ihe ọzọ efu na ụdị API azụmahịa.
The LM Evaluation Harness bụ ọkọlọtọ ngwaọrụ ọtụtụ ụlọ nyocha na-eji na-arụ ọrụ nlereanya n'ofe narị ọrụ.
Ndị nyocha nchekwa na ịkọwapụta onwe ha na-eji eleutherAI's ghe oghe iji mụọ ụdị internals mechiri emechi API.
Usoro mmejuputa
EleutherAI na omume
Ndị na-eme nchọpụta n'ụwa niile na-eji ihe ndekọ data ahụ iji zụọ ma mụọ ụdị asụsụ mepere emepe nke ọma.
Ndị na-eme nchọpụta n'ụwa niile na-eji Pile dataset iji zụọ ma mụọ ụdị asụsụ mepere emepe n'ụzọ ọzọ Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka oke ikpe, wee soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.
EleutherAI na omume
GPT-J-6B na GPT-NeoX-20B bụ ndị mmalite na ndị gụrụ akwụkwọ na-ebunye dị ka ihe ọzọ efu na ụdị API azụmahịa.
GPT-J-6B na GPT-NeoX-20B na-ebuga site na mmalite na ndị gụrụ akwụkwọ dị ka nhọrọ efu maka ụdị API azụmahịa Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
EleutherAI na omume
The LM Evaluation Harness bụ ọkọlọtọ ngwaọrụ ọtụtụ ụlọ nyocha na-eji na-arụ ọrụ nlereanya n'ofe narị ọrụ.
The LM Evaluation Harness bụ ọkọlọtọ ngwá ọrụ ọtụtụ ụlọ nyocha na-eji iji nyochaa arụmọrụ nlereanya gafere ọtụtụ narị ọrụ Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru mmepụta yana ụgwọ njehie na oge.
EleutherAI na omume
Ndị nyocha nchekwa na ịkọwapụta onwe ha na-eji eleutherAI's ghe oghe iji mụọ ụdị internals mechiri emechi API.
Ndị na-eme nchọpụta nchekwa onwe ha na nkọwa nkọwa na-eji EleutherAI's open weights na-amụ ihe nlereanya internals nke mechiri APIs zoo Otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Mwepụta ọkwa nwere ike karịa nkwụsi ike na usoro nrụpụta n'ezie.
Ọnụ ahịa API ma ọ bụ mgbanwe amụma nwere ike imebi echiche n'otu abalị.
Ndabere otu onye na-ere ahịa na-abawanye mkpọchi na ọnụ ahịa mbugharị.
Map mmejuputa
Nyochaa ndị na-eweta ọrụ site na iji ọrụ nke gị na nhazi data.
Nyochaa ndị na-eweta ọrụ site na iji ọrụ nke gị na nhazi data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nyochaa nzuzo, nchekwa na usoro iwu tupu njikọta.
Nyochaa nzuzo, nchekwa na usoro iwu tupu njikọta. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Jikwaa atụmatụ ọdịda n'ofe ụdị ma ọ bụ ndị na-ere ahịa.
Jikwaa atụmatụ ọdịda n'ofe ụdị ma ọ bụ ndị na-ere ahịa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nyochaa ndetu mwepụta ka mgbanwe map ụzọ ghara iju ndị otu anya.
Nyochaa ndetu mwepụta ka mgbanwe map ụzọ ghara iju ndị otu anya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.