Maswali yanayounganishwa na mwongozo · Kati Kiwango
BigScience na Maswali ya Muundo wa BLOOM
Kagua mkusanyiko wa ROOTS wa lugha nyingi wa BLOOM, toleo la ufikiaji huria, usanifu wa kisimbuzi pekee, na lugha zinazowakilishwa katika mafunzo.
Swali 1 ya 8
Je, lengo kuu la kutofautisha la muundo wa BLOOM lilikuwa lipi ikilinganishwa na miundo ya ukubwa sawa wa wakati wake?
Hakiki kila swali8 maswali
Majibu na maelezo huonekana unapojibu maswali.
- Je, lengo kuu la kutofautisha la muundo wa BLOOM lilikuwa lipi ikilinganishwa na miundo ya ukubwa sawa wa wakati wake?
- Kuwa na lugha nyingi na kutolewa kwa uwazi
- Kuwa mwepesi zaidi katika makisio
- Kuwa mfano mdogo iwezekanavyo
- Kufunzwa tu kwenye msimbo wa programu
- Takriban BLOOM ina vigezo vingapi?
- 7 bilioni
- bilioni 176
- bilioni 70
- bilioni 540
- BLOOM alifunzwa kushughulikia lugha ngapi za asili?
- 1
- 100
- 46
- 600
- Ni shirika gani liliratibu ushirikiano wa BigScience?
- DeepMind
- Stability AI
- Anthropic
- Hugging Face
- BLOOM alifunzwa wapi?
- Kwenye kompyuta kuu ya Jean Zay inayofadhiliwa na umma huko Ufaransa
- Kwenye wingu la kibinafsi GPU zilizokodishwa kutoka kwa kuanza
- Kwenye nguzo ya kompyuta ya mbali ya chuo kikuu
- Kwenye Google maganda ya TPU
- How does BLOOM’s ALiBi mechanism encode relative position?
- It removes attention and uses a convolutional decoder
- It adds distance-dependent biases to attention scores
- It inserts learned position vectors into every token embedding
- It stores position as a separate image channel
- How many programming languages were represented in BLOOM’s ROOTS corpus?
- 3 programming languages
- 46 programming languages
- 13 programming languages
- 130 programming languages
- What model architecture does the BLOOM paper describe?
- Kiainishi cha taswira cha kubadilisha
- A recurrent speech recognizer
- A diffusion model for audio
- A decoder-only Transformer