BigScience ati Awoṣe BLOOM
BigScience jẹ ifowosowopo iwadii ṣiṣi fun ọdun kan ti awọn oniwadi to ju 1,000 ti o ṣe agbekalẹ BLOOM, ọkan ninu awọn ede pupọ nitootọ akọkọ, ti tu awọn awoṣe ede nla silẹ ni gbangba.
Akopọ
O ṣe pataki bi ami iyasọtọ ni gbangba, AI ti agbegbe ti a kọ ni ita Big Tech.
Jin Dive
BigScience jẹ idanileko iwadii ọdun kan ti n ṣiṣẹ lati ọdun 2021 si 2022, iṣakojọpọ nipasẹ Face Face ati kikojọ diẹ sii ju awọn oniwadi oluyọọda 1,000 lati awọn orilẹ-ede to ju 60 ati awọn ile-iṣẹ 250 lọ. Ijade akọle rẹ, ti a tu silẹ ni Oṣu Keje ọdun 2022, jẹ BLOOM, awoṣe ede adaṣe adaṣe ti 176-bilionu-176. BLOOM jẹ onisọpọ pupọ ni imọọmọ, ti a kọ ni ikẹkọ lori ROOTS corpus ti o bo awọn ede adayeba 46 ati awọn ede siseto 13, pẹlu aṣoju ti o lagbara ti awọn ede ti ko ni ipoduduro gẹgẹbi ọpọlọpọ awọn ede Afirika ati South Asia. Ikẹkọ ṣiṣẹ fun ọpọlọpọ awọn oṣu lori agbateru gbangba Jean Zay supercomputer ni Ilu Faranse ni lilo ni ayika 384 GPUs. A ṣe idasilẹ BLOOM labẹ Iwe-aṣẹ AI Responsible pẹlu iwe kikun ti data rẹ, ikẹkọ, ati awọn lilo ti a pinnu, ni iyatọ didasilẹ pẹlu idagbasoke pipade ti awọn awoṣe afiwera.
Imọ-imọ-ẹrọ
BLOOM jẹ oluyipada decoder-nikan ti iwọn ti o jọra si GPT-3, ni lilo awọn ifibọ ipo ALiBi dipo awọn adaṣe ipo ti o kọ ẹkọ, eyiti o ṣe iranlọwọ lati ṣe afikun si awọn ilana gigun ju ti a rii ni ikẹkọ. O tun kan isọdọtun Layer ifisinu ti o ni ilọsiwaju iduroṣinṣin ikẹkọ ni iwọn. A kojọpọ kopọsi ROOTS multilingual ati ṣe akọsilẹ nitoribẹẹ adapọ ede ati awọn orisun data jẹ ṣiṣafihan ati ṣiṣayẹwo, ilọkuro mọọmọ lati awọn akopọ data ti o parun.
Ipa Ilana
Ilana olutaja
Awọn maapu opopona olutaja ni ipa kini awọn ẹya ti ẹgbẹ rẹ le kọ ni atẹle.
Iye owo ati isuna
Awọn ofin iṣowo ati awọn aṣayan imuṣiṣẹ ni ipa lori idiyele igba pipẹ ati eewu.
Ewu ati ailewu
Awọn imoriya ile-iṣẹ ṣe apẹrẹ awọn abawọn ọja, iduro ailewu, ati ṣiṣi.
Ọjọ iwaju ti BigScience ati Awoṣe BLOOM
BigScience ṣe afihan pe iwọn-nla, AI iṣakoso ni gbangba ṣee ṣe, ati pe awoṣe rẹ ni ipa awọn idasilẹ ṣiṣi nigbamii ati titari gbooro fun akoyawo. Ise multilingualism ti ọjọ iwaju yoo ṣe agbero awọn ẹkọ rẹ ni iwe data ati agbegbe agbegbe, lakoko ti tuntun, awọn awoṣe ti o munadoko diẹ sii ti kọja BLOOM lori agbara aise. Ogún pípẹ́ rẹ̀ ni iwuwasi ti awọn kaadi awoṣe titẹjade, awọn alaye data, ati awọn iwe-aṣẹ oniduro, pẹlu ẹri pe iṣiro gbogbogbo le ṣe ikẹkọ awọn awoṣe iwọn-aala.
Real-World imuse
Ṣiṣẹda ati ipari ọrọ kọja awọn dosinni ti awọn ede, pẹlu eyiti a ko tọju nipasẹ awọn awoṣe iṣowo
Ṣiṣẹ bi ipilẹ iwadii ṣiṣi fun kikọ ojuṣaaju, gbigbe ede pupọ, ati ihuwasi igbelosoke
Ṣiṣatunṣe daradara sinu iṣẹ-ṣiṣe kan pato tabi awọn iyatọ ti o tẹle itọnisọna gẹgẹbi BLOOMZ fun awọn agbegbe ti kii ṣe Gẹẹsi
Pese awoṣe ti o ni akọsilẹ ni kikun fun awọn ọmọ ile-iwe ti n kẹkọ ijẹrisi data ikẹkọ ati iwe-aṣẹ AI lodidi
Awọn ewu & Awọn ọna iṣọ
Awọn ikede ifilọlẹ le ju iduroṣinṣin lọ ni awọn iṣan-iṣẹ iṣelọpọ gidi.
Ifowoleri API tabi awọn iyipada eto imulo le fọ awọn arosinu ni alẹ.
Igbẹkẹle olutaja ẹyọkan ṣe alekun titiipa-inu ati awọn idiyele ijira.
Ilana Ilana imuse
Ṣe ayẹwo awọn olupese nipa lilo awọn iṣẹ ṣiṣe tirẹ ati awọn ipilẹ data.
Ṣe atunyẹwo asiri, aabo, ati awọn ofin ofin ṣaaju iṣọpọ.
Ṣetọju eto ipadabọ kọja awọn awoṣe tabi awọn olutaja.
Bojuto awọn akọsilẹ itusilẹ nitoribẹẹ awọn iyipada maapu oju-ọna ma ṣe iyalẹnu awọn ẹgbẹ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn awoṣe koodu gigun ti Magic AI
Awọn ibeere ti a beere nigbagbogbo
Kini BigScience ati Awoṣe BLOOM?
BigScience jẹ ifowosowopo iwadii ṣiṣi fun ọdun kan ti awọn oniwadi to ju 1,000 ti o ṣe agbekalẹ BLOOM, ọkan ninu awọn ede pupọ nitootọ akọkọ, ti tu awọn awoṣe ede nla silẹ ni gbangba. O ṣe pataki bi ami-ilẹ ni sihin, AI ti o ni idari agbegbe ti a ṣe ni ita Big Tech.
Kini ibi-afẹde iyasọtọ akọkọ ti awoṣe BLOOM ni akawe si awọn awoṣe ti o jọra ti akoko rẹ?
A ṣe apẹrẹ BLOOM lati jẹ ọpọlọpọ ede nitootọ ati pe o ti tu silẹ ni gbangba pẹlu iwe kikun, laisi awọn awoṣe pipade ti iwọn afiwera.
O fẹrẹ to awọn aye-aye melo ni BLOOM ni?
BLOOM jẹ awoṣe paramita 176-bilionu-biliọnu kan, gbigbe si lori iwọn kanna si GPT-3.
Awọn ede adayeba melo ni a kọ BLOOM lati mu?
BLOOM's ROOTS corpus ikẹkọ bo awọn ede adayeba 46 pẹlu awọn ede siseto 13.
Ẹgbẹ wo ni o ṣajọpọ ifowosowopo BigScience?
Face Face ṣajọpọ BigScience, idanileko ti diẹ sii ju awọn oniwadi oluyọọda 1,000.
Nibo ni ikẹkọ BLOOM?
A ti gba BLOOM ikẹkọ lori kọnputa Super Jean Zay ni Ilu Faranse, ti n ṣafihan pe iṣiro gbogbogbo le ṣe ikẹkọ awoṣe iwọn-aala kan.