BigScience и модель BLOOM
BigScience — это открытое исследовательское сотрудничество, продолжавшееся год, в котором приняли участие более 1000 исследователей, которые создали BLOOM, одну из первых по-настоящему многоязычных, открыто выпущенных больших языковых моделей.
Обзор
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Глубокое погружение
BigScience — это годичный исследовательский семинар, который продлится с 2021 по 2022 год и координируется Hugging Face и объединит более 1000 исследователей-добровольцев из более чем 60 стран и 250 учреждений. Его заголовком, выпущенным в июле 2022 года, стала BLOOM, авторегрессионная языковая модель со 176 миллиардами параметров. BLOOM был сознательно многоязычным, обученным на корпусе ROOTS, охватывающем 46 естественных языков и 13 языков программирования, с сильным представительством недостаточно представленных языков, таких как несколько языков Африки и Южной Азии. Обучение проходило в течение нескольких месяцев на финансируемом государством суперкомпьютере Жана Зэя во Франции, в котором использовалось около 384 графических процессоров. BLOOM был выпущен под лицензией Responsible AI с полной документацией своих данных, обучения и предполагаемого использования, что резко контрастирует с закрытой разработкой сопоставимых моделей.
Техническая информация
BLOOM — это преобразователь только для декодера, аналогичный GPT-3, использующий позиционные представления ALiBi вместо изученных векторов положения, что помогает ему экстраполировать на более длинные последовательности, чем это наблюдается при обучении. Он также применяет нормализацию слоя внедрения, что повышает стабильность обучения в масштабе. Многоязычный корпус ROOTS был тщательно собран и задокументирован, поэтому языковая смесь и источники данных были прозрачными и проверяемыми, что является преднамеренным отходом от непрозрачных наборов данных.
Стратегическое воздействие
Стратегия поставщика
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Стоимость и бюджет
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Риски и безопасность
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Будущее большой науки и модель BLOOM
BigScience продемонстрировала, что крупномасштабный, открыто управляемый ИИ возможен, и его модель повлияла на более поздние открытые выпуски и более широкое стремление к прозрачности. Будущая многоязычная работа, вероятно, будет основываться на уроках документирования данных и инклюзивном языковом охвате, в то время как новые, более эффективные модели превзошли BLOOM по исходным возможностям. Его непреходящим наследием является норма публикации карточек моделей, отчетов о данных и ответственных лицензий, а также доказательство того, что общедоступные вычисления могут обучать модели передового масштаба.
Реальная реализация
Генерация и завершение текста на десятках языков, в том числе на тех, которые недостаточно обслуживаются коммерческими моделями.
Служит открытой исследовательской базой для изучения предвзятости, многоязычного перевода и поведения масштабирования.
Точная настройка на варианты, ориентированные на конкретные задачи или инструкции, такие как BLOOMZ, для неанглоязычных сообществ.
Предоставление полностью документированной модели для ученых, изучающих происхождение обучающих данных и ответственное лицензирование ИИ.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Поддерживайте резервный план для разных моделей или поставщиков.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Модели длинноконтекстного кода Magic AI
Часто задаваемые вопросы
What is BigScience and the BLOOM Model?
BigScience — это открытое исследовательское сотрудничество, продолжавшееся год, в котором приняли участие более 1000 исследователей, которые создали BLOOM, одну из первых по-настоящему многоязычных, открыто выпущенных больших языковых моделей. Это важно как веха в прозрачном, управляемом сообществом искусственном интеллекте, созданном за пределами крупных технологических компаний.
Какова была основная отличительная цель модели BLOOM по сравнению с моделями аналогичного размера того времени?
BLOOM был разработан как действительно многоязычный и был выпущен открыто с полной документацией, в отличие от закрытых моделей сопоставимого масштаба.
Сколько примерно параметров у BLOOM?
BLOOM — это модель со 176 миллиардами параметров, что соответствует масштабу GPT-3.
На скольких естественных языках был обучен BLOOM?
Учебный корпус BLOOM по ROOTS охватывает 46 естественных языков и 13 языков программирования.
Какая организация координировала сотрудничество BigScience?
Hugging Face координировал работу BigScience, семинара, в котором приняли участие более 1000 исследователей-добровольцев.
Где проходил обучение BLOOM?
Компания BLOOM прошла обучение на суперкомпьютере Жана Зэя во Франции, продемонстрировав, что общедоступные вычисления могут обучать модели передового масштаба.