BigScience и моделът BLOOM
BigScience беше едногодишно отворено изследователско сътрудничество на над 1000 изследователи, което създаде BLOOM, един от първите наистина многоезични, открито пуснати големи езикови модели.
Преглед
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Дълбоко гмуркане
BigScience беше едногодишен изследователски семинар, който се проведе от 2021 до 2022 г., координиран от Hugging Face и обединяващ повече от 1000 изследователи доброволци от над 60 държави и 250 институции. Основният му резултат, пуснат през юли 2022 г., беше BLOOM, авторегресивен езиков модел със 176 милиарда параметъра. BLOOM беше умишлено многоезичен, обучен по корпуса ROOTS, обхващащ 46 естествени езика и 13 езика за програмиране, със силно представяне на недостатъчно представени езици, като няколко африкански и южноазиатски езика. Обучението продължи няколко месеца на публично финансирания суперкомпютър Jean Zay във Франция, използвайки около 384 графични процесора. BLOOM беше пуснат под лиценза за отговорен изкуствен интелект с пълна документация за своите данни, обучение и предвидени употреби, контрастиращи рязко със затворената разработка на сравними модели.
Техническа информация
BLOOM е трансформатор само за декодер с подобен мащаб на GPT-3, използващ ALiBi позиционни вграждания вместо заучени позиционни вектори, което му помага да екстраполира към по-дълги последователности, отколкото се вижда в обучението. Той също така прилага нормализиране на слоя за вграждане, което подобрява стабилността на обучението в мащаб. Многоезичният корпус на ROOTS беше внимателно сглобен и документиран, така че езиковият микс и източниците на данни бяха прозрачни и подлежащи на проверка, умишлено отклонение от непрозрачните набори от данни.
Стратегическо въздействие
Vendor strategy
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Cost and budget
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Risk and safety
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Бъдещето на BigScience и моделът BLOOM
BigScience демонстрира, че широкомащабният, открито управляван AI е възможен и неговият модел повлия на по-късните отворени версии и по-широкия натиск за прозрачност. Бъдещата многоезична работа вероятно ще се основава на своите уроци в документирането на данни и приобщаващото езиково покритие, докато по-новите, по-ефективни модели са надминали BLOOM по отношение на необработените възможности. Неговото трайно наследство е нормата за публикуване на карти с модели, изявления за данни и отговорни лицензи, плюс доказателство, че публичните изчисления могат да обучават модели в граничен мащаб.
Внедряване в реалния свят
Генериране и допълване на текст на десетки езици, включително такива, които не се обслужват от комерсиални модели
Служи като отворена база за изследване за изучаване на пристрастия, многоезичен трансфер и поведение при мащабиране
Фина настройка във варианти, специфични за задача или следващи инструкции, като BLOOMZ за неанглийски общности
Предоставяне на напълно документиран модел за академици, изучаващи произхода на данните за обучение и отговорно лицензиране на AI
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Поддържайте резервен план за модели или доставчици.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Magic AI дългоконтекстни кодови модели
Frequently asked questions
What is BigScience and the BLOOM Model?
BigScience беше едногодишно отворено изследователско сътрудничество на над 1000 изследователи, което създаде BLOOM, един от първите наистина многоезични, открито пуснати големи езикови модели. Има значение като ориентир в прозрачния, управляван от общността AI, изграден извън Big Tech.
Каква беше основната отличителна цел на модела BLOOM в сравнение с моделите с подобни размери от онова време?
BLOOM е проектиран да бъде наистина многоезичен и е пуснат открито с пълна документация, за разлика от затворени модели от сравним мащаб.
Приблизително колко параметъра има BLOOM?
BLOOM е модел със 176 милиарда параметри, което го поставя в подобна скала на GPT-3.
На колко естествени езика е бил обучен BLOOM да борави?
Обучителният корпус ROOTS на BLOOM обхваща 46 естествени езика плюс 13 езика за програмиране.
Коя организация координира сътрудничеството BigScience?
Hugging Face координира BigScience, семинар от повече от 1000 изследователи доброволци.
Къде е бил обучаван BLOOM?
BLOOM беше обучен на суперкомпютъра Jean Zay във Франция, демонстрирайки, че публичните изчисления могат да обучават модел в граничен мащаб.