Огляд
BigScience — це річна відкрита дослідницька співпраця понад 1000 дослідників, яка створила BLOOM, одну з перших справді багатомовних, відкрито випущених великих мовних моделей. Це має значення як орієнтир у прозорому, керованому спільнотою ШІ, створеному за межами Big Tech.
BigScience і модель BLOOM найкраще зрозуміти в контексті стратегії, доступу до моделі, рішень щодо платформи та партнерства в екосистемі.
Глибоке занурення
BigScience був однорічним дослідницьким семінаром, який тривав з 2021 по 2022 рік, координував Hugging Face і об’єднав понад 1000 дослідників-добровольців із понад 60 країн і 250 установ. Її основним результатом, випущеним у липні 2022 року, стала BLOOM, авторегресійна мовна модель із 176 мільярдами параметрів. BLOOM був свідомо багатомовним, навчався на корпусі ROOTS, який охоплював 46 природних мов і 13 мов програмування, з сильним представленням недостатньо представлених мов, таких як кілька мов Африки та Південної Азії. Навчання тривало кілька місяців на фінансованому державою суперкомп’ютері Jean Zay у Франції з використанням близько 384 графічних процесорів. BLOOM було випущено за ліцензією Responsible AI License з повною документацією щодо його даних, навчання та призначеного використання, що різко контрастує з закритою розробкою порівнянних моделей.
Технічне розуміння
BLOOM — це трансформатор лише з декодером, подібний до GPT-3, із використанням позиційних вбудовувань ALiBi замість вивчених векторів позиції, що допомагає йому екстраполювати на довші послідовності, ніж бачили під час навчання. Він також застосовує нормалізацію рівня вбудовування, яка покращує стабільність навчання в масштабі. Багатомовний корпус ROOTS був ретельно зібраний і задокументований, щоб мовна суміш і джерела даних були прозорими та доступними для перевірки, що є навмисним відходом від непрозорих скопійованих наборів даних.
Освоєння BigScience і моделі BLOOM
BigScience — це річна відкрита дослідницька співпраця понад 1000 дослідників, яка створила BLOOM, одну з перших справді багатомовних, відкрито випущених великих мовних моделей. Це має значення як орієнтир у прозорому, керованому спільнотою ШІ, створеному за межами Big Tech. BigScience і модель BLOOM найкраще зрозуміти в контексті стратегії, доступу до моделі, рішень щодо платформи та партнерства в екосистемі. Щоб побудувати глибоке розуміння, розглядайте BigScience і модель BLOOM як операційну модель, а не як окрему функцію: визначте бажані результати, уточніть припущення та відокремте те, що система може зробити надійно, від того, що все ще вимагає експертної оцінки.
На практиці сильні команди, які використовують BigScience і модель BLOOM, оцінюють стратегію постачальника, надійність дорожньої карти та ризик блокування, перш ніж взяти на себе зобов’язання. Вони документують чіткі критерії успіху, перевіряють реалістичні дані та робочі процеси та виконують ітерацію на основі спостережуваних моделей невдач, а не одноразових перемог у тестах. Саме тут теоретичне розуміння перетворюється на довготривалу здатність щодо продуктів, політики та операцій.
Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі. У той же час повідомлення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва. Найбільш стійкий підхід полягає в поєднанні швидкості експериментів із дисципліною управління: запускайте пілотні проекти, збирайте докази, публікуйте журнали рішень і постійно оновлюйте запобіжні заходи в міру розвитку поведінки моделі, очікувань користувачів і нормативних вимог.
Стратегічний вплив
Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі.
Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі. У високоякісних розгортаннях це перетворюється на вимірювані правила роботи, межі власності та повторювані ритуали перевірки, щоб команди могли масштабувати впевненість замість масштабування неоднозначності.
Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик.
Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик. У високоякісних розгортаннях це перетворюється на вимірювані правила роботи, межі власності та повторювані ритуали перевірки, щоб команди могли масштабувати впевненість замість масштабування неоднозначності.
Стимули компанії формують стандарти продукту, безпеку та відкритість.
Стимули компанії формують стандарти продукту, безпеку та відкритість. У високоякісних розгортаннях це перетворюється на вимірювані правила роботи, межі власності та повторювані ритуали перевірки, щоб команди могли масштабувати впевненість замість масштабування неоднозначності.
Впровадження в реальному світі
Створення та завершення тексту на десятках мов, у тому числі тих, які недостатньо обслуговуються комерційними моделями
Служить відкритою дослідницькою базою для вивчення упередженості, багатомовного перекладу та поведінки масштабування
Точне налаштування на варіанти для конкретних завдань або виконання інструкцій, наприклад BLOOMZ для неангломовних спільнот
Надання повністю задокументованої моделі для вчених, які вивчають походження навчальних даних і відповідальне ліцензування ШІ
Шаблони реалізації
BigScience і модель BLOOM на практиці
Створення та завершення тексту на десятках мов, у тому числі тих, які недостатньо обслуговуються комерційними моделями.
Створення та завершення тексту на десятках мов, у тому числі тих, які недостатньо обслуговуються комерційними моделями. Команди зазвичай отримують кращі результати, коли заздалегідь визначають порогові значення якості, зберігають шлях ескалації людини для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
BigScience і модель BLOOM на практиці
Служить відкритою дослідницькою базою для вивчення упередженості, багатомовного перекладу та поведінки масштабування.
Використовуючи відкриту дослідницьку базу для вивчення упередженості, багатомовної передачі та поведінки масштабування. Команди зазвичай отримують кращі результати, коли вони визначають порогові значення якості наперед, зберігають шлях ескалації людини для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
BigScience і модель BLOOM на практиці
Точне налаштування до варіантів, пов’язаних із завданням або виконанням інструкцій, наприклад BLOOMZ для неангломовних спільнот.
Точне налаштування варіантів, пов’язаних із завданням або виконанням інструкцій, як-от BLOOMZ для неангломовних спільнот. Команди зазвичай отримують кращі результати, коли заздалегідь визначають порогові значення якості, зберігають шлях ескалації людини для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
BigScience і модель BLOOM на практиці
Надання повністю задокументованої моделі для вчених, які вивчають походження навчальних даних і відповідальне ліцензування ШІ.
Надання повністю задокументованої моделі для вчених, які вивчають походження навчальних даних, і відповідальне ліцензування штучного інтелекту. Команди зазвичай отримують кращі результати, коли заздалегідь визначають порогові значення якості, зберігають шлях ескалації з боку людини для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
Ризики та огорожі
Оголошення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва.
Зміни в ціноутворенні API або в політиці можуть миттєво порушити припущення.
Залежність від одного постачальника збільшує витрати на блокування та міграцію.
Дорожня карта впровадження
Оцініть постачальників за допомогою власних завдань і наборів даних.
Оцініть постачальників за допомогою власних завдань і наборів даних. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.
Перед інтеграцією ознайомтеся з конфіденційністю, безпекою та юридичними умовами.
Перед інтеграцією ознайомтеся з конфіденційністю, безпекою та юридичними умовами. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.
Підтримуйте запасний план для різних моделей або постачальників.
Підтримуйте запасний план для різних моделей або постачальників. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.
Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди.
Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.