Résumé
EleutherAI kuréel la guy def ay gëstu yu amul benn njariñ, moo njëkka amal xeetu làkk yu yaatu yu ubbeeku yi, bi ñu tëjoo frontier IA ci ginnàaw miiru liggéeyukaay yi. Firndeelna ni askanu deff te Yalla tax munna tabax ak genne ci lu yomb ay model yuy joŋante ak sistem yu tëju yi, di soppali ki wara bokk ci gestu juntuwaay yu bees yi.
EleutherAI ñu ngi koy gëna xamee ci wàllu pexe, jëfandikoo model, dogal ci platform, ak jàppante ci ecosystem.
Plongeur bu xóot
EleutherAI mingi tàmbali ci weeru sulet 2020 ni askanu Discord bu Connor Leahy, Sid Black, ak Leo Gao amalee, seen mébet mooy nuru GPT-3 bu AIU. Ngir tàggat model yu mel noonu, ñu njëkka tabax ba noppi génne The Pile, muy 825GB dataset buñ tànn mu nekk corpus tàggat buñ ubbi. Ginaaw loolu ñu génne GPT-Neo, GPT-J-6B, ak GPT-NeoX-20B bu am 20 milyaar ciy parametre, muy benn ci xeeti làkk yi gëna mag te ñépp mëna ko jëfandikoo ci seen jamono. Seeni jumtukaay, lu ci melni GPT-NeoX bibliothèque de formation ak LM Evaluation Harness bi ñuy jëfandikoo ci liggéeyukaay bi yépp ngir def ay référence, nekk nañu jumtukaay yu ñeneen ñi tabax ci kaw. Ci atum 2023 EleutherAI dafa formalise nekk daara gëstu buy def te Yàlla tax, muy yaatal ci tekki, méngale, ak science ci ni model yi di jàngee.
Gis-gis xarala
Royuwaayi EleutherAI dañuy jëfandikoo dekodeer transformatër, waaye GPT-J ak GPT-NeoX dugal nañu tànneefi ingenieur yu am solo yu melni Rotary Positional Embeddings (RoPE) ngir enkode position token yi ak feedforward yuñ boole ngir gaawal tàggat yaram. Ci anam wu gëna am solo, dañu tàggat ci TPUs ak GPUs yuñ joxe ci lëkkaloo yu melni Google's TPU Research Cloud ak CoreWeave, di wane ni ordinatër buñ séddale, bi ñuy fay parrain mën na wecci santaru done bu liggéeyukaay bi suñu ko boole ak kode bu ubbeeku.
Jàngale EleutherAI
EleutherAI kuréel la guy def ay gëstu yu amul benn njariñ, moo njëkka amal xeetu làkk yu yaatu yu ubbeeku yi, bi ñu tëjoo frontier IA ci ginnàaw miiru liggéeyukaay yi. Firndeelna ni askanu deff te Yalla tax munna tabax ak genne ci lu yomb ay model yuy joŋante ak sistem yu tëju yi, di soppali ki wara bokk ci gestu juntuwaay yu bees yi. EleutherAI ñu ngi koy gëna xamee ci wàllu pexe, jëfandikoo model, dogal ci platform, ak jàppante ci ecosystem. Ngir tabax xam-xam bu xóot, jàppal EleutherAI ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ba noppi tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo EleutherAI dañuy jàngat pexem jaaykat yi, wóorum kàrtu yoon, ak risku tëjug balaa ñuy jël dogal. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Kartu yoonu jaaykat yi ñooy wane man-man yi sa ekip mëna tabax ci kanam. Ci jamano jooju, annonce lansma yi mën nañu raw stabilite ci liggéeyu production dëgg. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Kartu yoonu jaaykat yi ñooy wane man-man yi sa ekip mëna tabax ci kanam.
Kartu yoonu jaaykat yi ñooy wane man-man yi sa ekip mëna tabax ci kanam. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Anamu jënd ak jaay ak tànneefi dugal dañu am njeexital ci njëg ak risk ci diir bu xawa yàgg.
Anamu jënd ak jaay ak tànneefi dugal dañu am njeexital ci njëg ak risk ci diir bu xawa yàgg. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Li liggéeyukaay bi di ñaax mooy tëral ni produit bi di doxee, kaaraange gi ak ubbeeku gi.
Li liggéeyukaay bi di ñaax mooy tëral ni produit bi di doxee, kaaraange gi ak ubbeeku gi. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Gëstukat yi ci àdduna bi yépp dañuy jëfandikoo Pile dataset ngir tàggat ak jàngat xeeti làkk yu ubbeeku ci anam wu ñu mëna joxewaat.
GPT-J-6B ak GPT-NeoX-20B, ñiy sooga tàmbali liggéey ak jàngat yi ñoo leen di jëfandikoo ngir wuutu xeetu API yi ñuy jaay.
LM Evaluation Harness mooy jumtukaay bi lab yu bari di jëfandikoo ngir méngale model bi ci téemeeri liggéey.
Gëstukat yi moom seen bopp ci wàllu kaaraange ak mëna tekki dañuy jëfandikoo poid yu ubbeeku yu EleutherAI ngir jàngat xeetu biir yi API yu tëju yi di nëbb.
Modèlu jëfandikoo
EleutherAI ci jëf
Gëstukat yi ci àdduna bi yépp dañuy jëfandikoo Pile dataset ngir tàggat ak jàngat xeeti làkk yu ubbeeku ci anam wu ñu mëna joxewaat.
Gëstukat yi ci àdduna bi yépp dañuy jëfandikoo Pile dataset ngir tàggat ak jàngat xeetu làkk yu ubbeeku yi ci anam wu ñuy génne. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay pursàntaasu kalite ci kanam, tëye yoonu eskalaasioŋ nit ngir jafe-jafe yi, ba noppi topp njariñu liggéey ak njëgu njuumte ci diir bu gàtt.
EleutherAI ci jëf
GPT-J-6B ak GPT-NeoX-20B, ñiy sooga tàmbali liggéey ak jàngat yi ñoo leen di jëfandikoo ngir wuutu xeetu API yi ñuy jaay.
GPT-J-6B ak GPT-NeoX-20B startups ak academics yi ñoo leen di jëfandikoo ngir wuutale xeetu API yi. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay kalite ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bi.
EleutherAI ci jëf
LM Evaluation Harness mooy jumtukaay bi lab yu bari di jëfandikoo ngir méngale model bi ci téemeeri liggéey.
LM Evaluation Harness mooy jumtukaay biñ gëna xam lab yu bari di jëfandikoo ngir méngale model performance ci téemeeri liggéey. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
EleutherAI ci jëf
Gëstukat yi moom seen bopp ci wàllu kaaraange ak mëna tekki dañuy jëfandikoo poid yu ubbeeku yu EleutherAI ngir jàngat xeetu biir yi API yu tëju yi di nëbb.
Gëstukat yi moom seen bopp ci wàllu kaaraange ak mëna tekki dañuy jëfandikoo EleutherAI's open weights ngir jàngat model internals yi APIs tëj yi nëbb. Ekip yi dañuy faral di am njariñ yu gëna baax suñu leeralee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bi.
Risk yi ak balustrade yi
Koom-koomu ubbite mën na raw stabilite ci def liggéeyu defar dëgg.
Njëg yi ci API wala coppite ci sàrt yi mën nañu dindi xalaat yi ci guddi gi.
Dependence ci benn jaaykat dafay yokk njëgu tëjug ak migraasioŋ.
Roadmap ngir samp gi
Saytu sa fournisseur yi nga jëfandikoo sa liggéey ak say done.
Saytu sa fournisseur yi nga jëfandikoo sa liggéey ak say done. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Xoolaat mbir yu nëbbu, kaaraange ak sàrti yoon balaa ngay boole.
Xoolaat mbir yu nëbbu, kaaraange ak sàrti yoon balaa ngay boole. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Fexe am palaŋu fallback ci model yi wala jaaykat yi.
Fexe am palaŋu fallback ci model yi wala jaaykat yi. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Xool notu génne yi suko defee coppite yi ci kàrtu yoon du jaaxal ekip yi.
Xool notu génne yi suko defee coppite yi ci kàrtu yoon du jaaxal ekip yi. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.