ДалееСледующее руководство
Модели длинноконтекстного кода Magic AI
Компании
РУКОВОДСТВО ПО КОМПАНИЯМ
BigScience и модель BLOOM
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Глубокое погружение
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Реальная реализация
Генерация и завершение текста на десятках языков, в том числе на тех, которые недостаточно обслуживаются коммерческими моделями.
Служит открытой исследовательской базой для изучения предвзятости, многоязычного перевода и поведения масштабирования.
Точная настройка на варианты, ориентированные на конкретные задачи или инструкции, такие как BLOOMZ, для неанглоязычных сообществ.
Предоставление полностью документированной модели для ученых, изучающих происхождение обучающих данных и ответственное лицензирование ИИ.
Будущее большой науки и модель BLOOM
BigScience продемонстрировала, что крупномасштабный, открыто управляемый ИИ возможен, и его модель повлияла на более поздние открытые выпуски и более широкое стремление к прозрачности. Будущая многоязычная работа, вероятно, будет основываться на уроках документирования данных и инклюзивном языковом охвате, в то время как новые, более эффективные модели превзошли BLOOM по исходным возможностям. Его непреходящим наследием является норма публикации карточек моделей, отчетов о данных и ответственных лицензий, а также доказательство того, что общедоступные вычисления могут обучать модели передового масштаба.
Применение на практике
Почему это важно
- Стратегия поставщика. Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
- Стоимость и бюджет. Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
- Риски и безопасность. Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Следите за
- Объявления о запуске могут опережать стабильность реальных производственных процессов.
- Цены на API или изменения в политике могут в одночасье разрушить предположения.
- Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Следующие шаги
- Оценивайте поставщиков, используя собственные задачи и наборы данных.
- Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
- Поддерживайте резервный план для разных моделей или поставщиков.
- Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the BigScience and the BLOOM Model quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое BigScience и модель BLOOM?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Какова была основная отличительная цель модели BLOOM по сравнению с моделями аналогичного размера того времени?
BLOOM был разработан как действительно многоязычный и был выпущен открыто с полной документацией, в отличие от закрытых моделей сопоставимого масштаба.
Сколько примерно параметров у BLOOM?
BLOOM — это модель со 176 миллиардами параметров, что соответствует масштабу GPT-3.
На скольких естественных языках был обучен BLOOM?
Учебный корпус BLOOM по ROOTS охватывает 46 естественных языков и 13 языков программирования.
Какая организация координировала сотрудничество BigScience?
Hugging Face координировал работу BigScience, семинара, в котором приняли участие более 1000 исследователей-добровольцев.
Где проходил обучение BLOOM?
Компания BLOOM прошла обучение на суперкомпьютере Жана Зэя во Франции, продемонстрировав, что общедоступные вычисления могут обучать модели передового масштаба.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме