ГІД компаній

BigScience і модель BLOOM

BLOOM — це багатомовна мовна модель зі 176 мільярдами параметрів, створена в межах співпраці BigScience і випущена разом із дослідницькою документацією.

Послухайте цей посібникШІ-розказаний · ~2 min

Почніть читатиПройти тест
На цій сторінці2 хвилини читання
  1. Огляд
  2. Глибоке занурення
  3. Реалізація в реальному світі
  4. Майбутнє BigScience і модель BLOOM
  5. Застосування на практиці
  6. Продовжуйте досліджувати
  7. Часті запитання

Огляд

Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Глибоке занурення

The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.

Реалізація в реальному світі

Створення та доповнення тексту на десятках мов, у тому числі тих, які недостатньо обслуговуються комерційними моделями

Служить відкритою дослідницькою базою для вивчення упередженості, багатомовного перекладу та поведінки масштабування

Точне налаштування на варіанти для конкретних завдань або виконання інструкцій, наприклад BLOOMZ для неангломовних спільнот

Надання повністю задокументованої моделі для вчених, які вивчають походження навчальних даних і відповідальне ліцензування ШІ

Майбутнє BigScience і модель BLOOM

BigScience продемонструвала, що широкомасштабний, відкрито керований ШІ можливий, і його модель вплинула на пізніші відкриті випуски та ширший поштовх до прозорості. Майбутня багатомовна робота, ймовірно, спиратиметься на уроки документування даних та всеосяжного мовного покриття, тоді як нові, ефективніші моделі перевершили BLOOM за можливостями необроблених даних. Його міцна спадщина — це норма публікації карток моделей, заяв про дані та відповідальних ліцензій, а також доказ того, що загальнодоступні обчислення можуть тренувати моделі прикордонного масштабу.

Застосування на практиці

Чому це важливо

  • Стратегія постачальника. Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі.
  • Вартість і бюджет. Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик.
  • Ризики та безпека. Стимули компанії формують стандарти продукту, безпеку та відкритість.

Зверніть увагу на

  • Оголошення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва.
  • Зміни в ціноутворенні API або в політиці можуть миттєво порушити припущення.
  • Залежність від одного постачальника збільшує витрати на блокування та міграцію.

Наступні кроки

  1. Оцініть постачальників за допомогою власних завдань і наборів даних.
  2. Перегляньте умови конфіденційності, безпеки та юридичні умови перед інтеграцією.
  3. Підтримуйте запасний план для різних моделей або постачальників.
  4. Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди.

Продовжуйте досліджувати

OpenAI

Подивіться, як працюють провідні постачальники базових моделей.Прочитайте посібник

ШІ з відкритим кодом

Порівняйте відкриті та закриті моделі екосистем.Прочитайте посібник

Безплатний розсилок

Отримуйте щоденне зведення новин про ШІ

Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.

Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.

Перевір себе

Take the BigScience and the BLOOM Model quiz

Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.

Розпочати вікторину

Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву

Часті запитання

What is BigScience and the BLOOM Model?

BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Якою була головна відмінна мета моделі BLOOM порівняно з моделями подібного розміру того часу?

BLOOM був розроблений як справді багатомовний і був випущений відкрито з повною документацією, на відміну від закритих моделей порівнянного масштабу.

Скільки приблизно параметрів має BLOOM?

BLOOM — це модель із 176 мільярдами параметрів, що ставить її на подібний рівень до GPT-3.

Скількома природними мовами навчили БЛУМА працювати?

Навчальний корпус ROOTS BLOOM охоплював 46 природних мов плюс 13 мов програмування.

Яка організація координувала співпрацю BigScience?

Hugging Face координував BigScience, семінар з понад 1000 волонтерів-дослідників.

Де проходив навчання БЛУМ?

Навчання BLOOM проходило на суперкомп’ютері Jean Zay у Франції, демонструючи, що загальнодоступні обчислення можуть тренувати модель граничного масштабу.

Продовжуйте вчитися

Пов'язані посібники

Інші посібники, вибрані для цієї теми

Отримайте безкоштовний сертифікат зі ШІКороткий безкоштовний курс та іспит. Безкоштовно, без картки. Близько 2,5 години.Почати безкоштовно →