BigScience і модель BLOOM
BigScience — це річна відкрита дослідницька співпраця понад 1000 дослідників, яка створила BLOOM, одну з перших справді багатомовних, відкрито випущених великих мовних моделей.
Огляд
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Глибоке занурення
BigScience був однорічним дослідницьким семінаром, який тривав з 2021 по 2022 рік, координував Hugging Face і об’єднав понад 1000 дослідників-добровольців із понад 60 країн і 250 установ. Її основним результатом, випущеним у липні 2022 року, стала BLOOM, авторегресійна мовна модель із 176 мільярдами параметрів. BLOOM був свідомо багатомовним, навчався на корпусі ROOTS, який охоплював 46 природних мов і 13 мов програмування, з сильним представленням недостатньо представлених мов, таких як кілька мов Африки та Південної Азії. Навчання тривало кілька місяців на фінансованому державою суперкомп’ютері Jean Zay у Франції з використанням приблизно 384 графічних процесорів. BLOOM було випущено за ліцензією Responsible AI License з повною документацією щодо його даних, навчання та призначеного використання, що різко контрастує з закритою розробкою порівнянних моделей.
Технічне розуміння
BLOOM — це трансформатор лише з декодером, подібний до GPT-3, із використанням позиційних вбудовувань ALiBi замість вивчених векторів позиції, що допомагає йому екстраполювати на довші послідовності, ніж бачили під час навчання. Він також застосовує нормалізацію рівня вбудовування, яка покращує стабільність навчання в масштабі. Багатомовний корпус ROOTS був ретельно зібраний і задокументований, щоб мовна суміш і джерела даних були прозорими та доступними для перевірки, що є навмисним відходом від непрозорих скопійованих наборів даних.
Стратегічний вплив
Стратегія постачальника
Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі.
Вартість і бюджет
Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик.
Ризики та безпека
Стимули компанії формують стандарти продукту, безпеку та відкритість.
Майбутнє BigScience і модель BLOOM
BigScience продемонструвала, що широкомасштабний, відкрито керований ШІ можливий, і його модель вплинула на пізніші відкриті випуски та ширший поштовх до прозорості. Майбутня багатомовна робота, ймовірно, спиратиметься на уроки документування даних та всеосяжного мовного покриття, тоді як нові, ефективніші моделі перевершили BLOOM за можливостями необроблених даних. Його міцна спадщина — це норма публікації карток моделей, заяв про дані та відповідальних ліцензій, а також доказ того, що загальнодоступні обчислення можуть тренувати моделі прикордонного масштабу.
Реалізація в реальному світі
Створення та доповнення тексту на десятках мов, у тому числі тих, які недостатньо обслуговуються комерційними моделями
Служить відкритою дослідницькою базою для вивчення упередженості, багатомовного перекладу та поведінки масштабування
Точне налаштування на варіанти для конкретних завдань або виконання інструкцій, наприклад BLOOMZ для неангломовних спільнот
Надання повністю задокументованої моделі для вчених, які вивчають походження навчальних даних і відповідальне ліцензування ШІ
Ризики та огорожі
Оголошення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва.
Зміни в ціноутворенні API або в політиці можуть миттєво порушити припущення.
Залежність від одного постачальника збільшує витрати на блокування та міграцію.
Дорожня карта впровадження
Оцініть постачальників за допомогою власних завдань і наборів даних.
Перегляньте умови конфіденційності, безпеки та юридичні умови перед інтеграцією.
Підтримуйте запасний план для різних моделей або постачальників.
Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Моделі довгоконтекстного коду Magic AI
Часті запитання
What is BigScience and the BLOOM Model?
BigScience — це річна відкрита дослідницька співпраця понад 1000 дослідників, яка створила BLOOM, одну з перших справді багатомовних, відкрито випущених великих мовних моделей. Це має значення як орієнтир у прозорому, керованому спільнотою ШІ, створеному за межами Big Tech.
Якою була головна відмінна мета моделі BLOOM порівняно з моделями подібного розміру того часу?
BLOOM був розроблений як справді багатомовний і був випущений відкрито з повною документацією, на відміну від закритих моделей порівнянного масштабу.
Скільки приблизно параметрів має BLOOM?
BLOOM — це модель із 176 мільярдами параметрів, що ставить її на подібний рівень до GPT-3.
Скількома природними мовами навчили БЛУМА працювати?
Навчальний корпус ROOTS BLOOM охоплював 46 природних мов плюс 13 мов програмування.
Яка організація координувала співпрацю BigScience?
Hugging Face координував BigScience, семінар з понад 1000 волонтерів-дослідників.
Де проходив навчання БЛУМ?
Навчання BLOOM проходило на суперкомп’ютері Jean Zay у Франції, демонструючи, що загальнодоступні обчислення можуть тренувати модель граничного масштабу.