ЭлеутерAI
EleutherAI — это массовый некоммерческий исследовательский коллектив, который первым разработал модели большого языка с открытым исходным кодом, когда передовой искусственный интеллект был заперт за корпоративными стенами.
Обзор
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Глубокое погружение
EleutherAI зародился в июле 2020 года как сообщество Discord, организованное Коннором Лихи, Сидом Блэком и Лео Гао, первоначально стремившееся воспроизвести GPT-3 OpenAI. Для обучения таких моделей они сначала создали и выпустили The Pile — набор текстовых данных объемом 825 ГБ, который стал стандартным открытым обучающим корпусом. Затем они выпустили GPT-Neo, GPT-J-6B и GPT-NeoX-20B с 20 миллиардами параметров, ставшие одними из крупнейших общедоступных языковых моделей своего времени. Их инструменты, в том числе учебная библиотека GPT-NeoX и LM Evaluation Harness, используемые в масштабах всей отрасли для сравнительного анализа, стали инфраструктурой, на которой основывались другие компании. В 2023 году EleutherAI официально стал некоммерческим исследовательским институтом, занимающимся интерпретируемостью, согласованностью и наукой о том, как модели обучаются.
Техническая информация
В моделях EleutherAI используется архитектура преобразовательного декодера, но GPT-J и GPT-NeoX представили практические инженерные решения, такие как вращающееся позиционное встраивание (RoPE) для кодирования позиций токенов и распараллеленные уровни внимания и прямой связи для ускорения обучения. Что особенно важно, они обучались на TPU и графических процессорах, предоставленных в рамках партнерских отношений, таких как Google TPU Research Cloud и CoreWeave, показав, что распределенные, финансируемые спонсорами вычисления могут заменить корпоративный центр обработки данных в сочетании с открытым кодом.
Стратегическое воздействие
Стратегия поставщика
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Стоимость и бюджет
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Риски и безопасность
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Будущее ЭлеутерИИ
EleutherAI переходит от гонки чистого масштабирования моделей к интерпретируемости, прозрачности обучающих данных и строгой оценке — областям, где открытая наука больше всего необходима. Ожидайте продолжения работы над пониманием того, что представляют собой внутренние модели, выпуском хорошо документированных наборов данных и поддержкой независимых исследований в области безопасности. Поскольку пограничные лаборатории становятся все более секретными, роль EleutherAI как противовеса общественным интересам, обучающего следующее поколение исследователей, вероятно, имеет большее значение, чем количество параметров любой отдельной модели, которую он поставляет.
Реальная реализация
Набор данных Pile используется исследователями по всему миру для воспроизводимого обучения и изучения моделей открытого языка.
GPT-J-6B и GPT-NeoX-20B используются стартапами и учеными в качестве бесплатных альтернатив коммерческим моделям API.
LM Evaluation Harness — это стандартный инструмент, который многие лаборатории используют для оценки производительности модели при выполнении сотен задач.
Независимые исследователи безопасности и интерпретируемости используют открытые веса EleutherAI для изучения внутренних компонентов модели, которые скрывают закрытые API.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Поддерживайте резервный план для разных моделей или поставщиков.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Веса и предвзятости
Часто задаваемые вопросы
What is EleutherAI?
EleutherAI — это массовый некоммерческий исследовательский коллектив, который первым разработал модели большого языка с открытым исходным кодом, когда передовой искусственный интеллект был заперт за корпоративными стенами. Это доказало, что сообщество добровольцев может создавать и свободно выпускать модели, конкурирующие с закрытыми системами, изменяя круг участников исследований ИИ.
Как EleutherAI стартовал в 2020 году?
EleutherAI начинался как неформальный коллектив добровольцев Discord, организованный для копирования закрытой на тот момент GPT-3.
Что такое «Куча»?
The Pile — это большой, разнообразный, открыто распространяемый текстовый корпус EleutherAI, созданный для обучения и изучения языковых моделей.
Что из этого является языковой моделью EleutherAI?
GPT-NeoX-20B — одна из флагманских открытых моделей EleutherAI; остальные происходят из Google или Meta.
Для чего используется оценочный ремень LM?
Программа представляет собой широко распространенный открытый инструмент для стандартизированной оценки языковых моделей по сотням тестов.
Как EleutherAI получил вычислительные мощности для обучения больших моделей на раннем этапе?
Не имея корпоративного центра обработки данных, EleutherAI полагалась на предоставленные спонсорами ресурсы TPU и GPU для обучения своих моделей.