Обзор
BigScience — это открытое исследовательское сотрудничество, продолжавшееся год, в котором приняли участие более 1000 исследователей, которые создали BLOOM, одну из первых по-настоящему многоязычных, открыто выпущенных больших языковых моделей. Это важно как веха в прозрачном, управляемом сообществом искусственном интеллекте, созданном за пределами крупных технологических компаний.
BigScience и модель BLOOM лучше всего понимать в контексте стратегии, доступа к модели, платформенных решений и экосистемного партнерства.
Глубокое погружение
BigScience — это годичный исследовательский семинар, который продлится с 2021 по 2022 год и координируется Hugging Face и объединит более 1000 исследователей-добровольцев из более чем 60 стран и 250 учреждений. Его заголовком, выпущенным в июле 2022 года, стала BLOOM, авторегрессионная языковая модель со 176 миллиардами параметров. BLOOM был сознательно многоязычным, обученным на корпусе ROOTS, охватывающем 46 естественных языков и 13 языков программирования, с сильным представительством недостаточно представленных языков, таких как несколько языков Африки и Южной Азии. Обучение проходило в течение нескольких месяцев на финансируемом государством суперкомпьютере Жана Зэя во Франции, в котором использовалось около 384 графических процессоров. BLOOM был выпущен под лицензией Responsible AI с полной документацией своих данных, обучения и предполагаемого использования, что резко контрастирует с закрытой разработкой сопоставимых моделей.
Техническая информация
BLOOM — это преобразователь только для декодера, аналогичный GPT-3, использующий позиционные представления ALiBi вместо изученных векторов положения, что помогает ему экстраполировать на более длинные последовательности, чем это наблюдается при обучении. Он также применяет нормализацию слоя внедрения, что повышает стабильность обучения в масштабе. Многоязычный корпус ROOTS был тщательно собран и задокументирован, поэтому языковая смесь и источники данных были прозрачными и проверяемыми, что является преднамеренным отходом от непрозрачных наборов данных.
Освоение BigScience и модели BLOOM
BigScience — это открытое исследовательское сотрудничество, продолжавшееся год, в котором приняли участие более 1000 исследователей, которые создали BLOOM, одну из первых по-настоящему многоязычных, открыто выпущенных больших языковых моделей. Это важно как веха в прозрачном, управляемом сообществом искусственном интеллекте, созданном за пределами крупных технологических компаний. BigScience и модель BLOOM лучше всего понимать в контексте стратегии, доступа к модели, платформенных решений и экосистемного партнерства. Чтобы добиться глубокого понимания, рассматривайте BigScience и модель BLOOM как операционную модель, а не как единую функцию: определите желаемые результаты, проясните предположения и отделите то, что система может делать надежно, от того, что все еще требует экспертной оценки.
На практике сильные команды, использующие BigScience и модель BLOOM, перед принятием решения оценивают стратегию поставщика, надежность дорожной карты и риск блокировки. Они документируют явные критерии успеха, проводят тестирование на основе реалистичных данных и рабочих процессов, а также выполняют итерации на основе наблюдаемых моделей неудач, а не разовых побед в тестах. Именно здесь теоретическое понимание превращается в прочные возможности в отношении продукта, политики и операций.
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше. В то же время объявления о запуске могут опережать стабильность реальных рабочих процессов. Самый устойчивый подход — сочетать скорость экспериментирования с дисциплиной управления: запускать пилотные проекты, собирать доказательства, публиковать журналы решений и постоянно обновлять меры безопасности по мере развития поведения модели, ожиданий пользователей и нормативных требований.
Стратегическое воздействие
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Реальная реализация
Генерация и завершение текста на десятках языков, в том числе на тех, которые недостаточно обслуживаются коммерческими моделями.
Служит открытой исследовательской базой для изучения предвзятости, многоязычного перевода и поведения масштабирования.
Точная настройка на варианты, ориентированные на конкретные задачи или инструкции, такие как BLOOMZ, для неанглоязычных сообществ.
Предоставление полностью документированной модели для ученых, изучающих происхождение обучающих данных и ответственное лицензирование ИИ.
Шаблоны реализации
BigScience и модель BLOOM на практике
Генерация и завершение текста на десятках языков, в том числе на тех, которые недостаточно обслуживаются коммерческими моделями.
Генерация и завершение текста на десятках языков, в том числе на тех, которые недостаточно обслуживаются коммерческими моделями. Команды обычно добиваются лучших результатов, если заранее определяют пороговые значения качества, сохраняют возможность эскалации вручную для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
BigScience и модель BLOOM на практике
Служит открытой исследовательской базой для изучения предвзятости, многоязычного перевода и поведения масштабирования.
Служит открытой исследовательской базой для изучения предвзятости, многоязычного переноса и поведения при масштабировании. Команды обычно получают лучшие результаты, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
BigScience и модель BLOOM на практике
Точная настройка на варианты, ориентированные на конкретные задачи или инструкции, такие как BLOOMZ, для неанглоязычных сообществ.
Точная настройка на варианты, ориентированные на конкретную задачу или на основе инструкций, такие как BLOOMZ для неанглоязычных сообществ. Команды обычно добиваются лучших результатов, если заранее определяют пороговые значения качества, сохраняют путь эскалации с участием человека для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
BigScience и модель BLOOM на практике
Предоставление полностью документированной модели для ученых, изучающих происхождение обучающих данных и ответственное лицензирование ИИ.
Предоставление полностью документированной модели для ученых, изучающих происхождение обучающих данных и ответственное лицензирование ИИ. Команды обычно добиваются лучших результатов, если заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Оценивайте поставщиков, используя собственные задачи и наборы данных. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Поддерживайте резервный план для разных моделей или поставщиков.
Поддерживайте резервный план для разных моделей или поставщиков. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.