EleutherAI
EleutherAI — це низовий некомерційний дослідницький колектив, який запровадив великі мовні моделі з відкритим кодом, коли передовий ШІ був замкнений за корпоративними стінами.
Огляд
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Глибоке занурення
EleutherAI розпочався в липні 2020 року як спільнота Discord, організована Коннором Ліхі, Сідом Блеком і Лео Гао, яка спочатку мала на меті відтворити GPT-3 OpenAI. Щоб навчати такі моделі, вони спочатку створили та випустили The Pile, набір текстових даних розміром 825 ГБ, який став стандартним відкритим навчальним корпусом. Потім вони випустили GPT-Neo, GPT-J-6B і GPT-NeoX-20B із 20 мільярдами параметрів, серед найбільших відкрито доступних мовних моделей свого часу. Їхні інструменти, зокрема навчальна бібліотека GPT-NeoX і LM Evaluation Harness, які використовуються в усій галузі для порівняльного аналізу, стали інфраструктурою, на якій будували інші. У 2023 році EleutherAI офіційно оформився як некомерційний дослідницький інститут, який розширив можливості інтерпретації, узгодження та науку про те, як моделі навчаються.
Технічне розуміння
EleutherAI's models use the transformer decoder architecture, but GPT-J and GPT-NeoX introduced practical engineering choices like Rotary Positional Embeddings (RoPE) for encoding token positions and parallelized attention-plus-feedforward layers to speed training. Crucially, they trained on TPUs and GPUs donated through partnerships like Google's TPU Research Cloud and CoreWeave, showing that distributed, sponsor-funded compute could substitute for a corporate datacenter when paired with open code.
Стратегічний вплив
Стратегія постачальника
Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі.
Вартість і бюджет
Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик.
Ризики та безпека
Стимули компанії формують стандарти продукту, безпеку та відкритість.
Майбутнє EleutherAI
EleutherAI переходить від чистої гонки масштабування моделей до інтерпретабельності, прозорості навчальних даних і суворої оцінки, областей, де відкрита наука найбільш потрібна. Очікуйте продовження роботи над розумінням того, що внутрішньо представляють моделі, випуском добре задокументованих наборів даних і підтримкою незалежних досліджень безпеки. Оскільки передові лабораторії стають все більш секретними, роль EleutherAI як противаги суспільних інтересів, яка навчає наступне покоління дослідників, швидше за все, має більше значення, ніж кількість параметрів будь-якої окремої моделі, яку він поставляє.
Реалізація в реальному світі
Набір даних Pile використовується дослідниками з усього світу для навчання та вивчення моделей відкритої мови з відтворюваністю.
GPT-J-6B і GPT-NeoX-20B розгортаються стартапами та науковцями як безкоштовні альтернативи комерційним моделям API.
LM Evaluation Harness — це стандартний інструмент, який багато лабораторій використовують для порівняння продуктивності моделі в сотнях завдань.
Незалежні дослідники безпеки та інтерпретації використовують відкриті ваги EleutherAI для вивчення внутрішніх елементів моделі, які приховують закриті API.
Ризики та огорожі
Оголошення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва.
Зміни в ціноутворенні API або в політиці можуть миттєво порушити припущення.
Залежність від одного постачальника збільшує витрати на блокування та міграцію.
Дорожня карта впровадження
Оцініть постачальників за допомогою власних завдань і наборів даних.
Перегляньте умови конфіденційності, безпеки та юридичні умови перед інтеграцією.
Підтримуйте запасний план для різних моделей або постачальників.
Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Ваги та упередження
Часті запитання
What is EleutherAI?
EleutherAI — це низовий некомерційний дослідницький колектив, який запровадив великі мовні моделі з відкритим кодом, коли передовий ШІ був замкнений за корпоративними стінами. Це довело, що волонтерська спільнота може створювати та вільно випускати моделі, що конкурують із закритими системами, змінюючи, хто може брати участь у дослідженнях ШІ.
Як спочатку починався EleutherAI у 2020 році?
EleutherAI починався як неофіційний колектив Discord добровольців, організованих для копіювання закритого на той час GPT-3.
Що таке «Куча»?
The Pile — це великий, різноманітний, відкритий текстовий корпус EleutherAI, створений для навчання та вивчення мовних моделей.
Яка з них є моделлю мови EleutherAI?
GPT-NeoX-20B є однією з флагманських відкритих моделей EleutherAI; інші походять від Google або Meta.
Для чого використовується LM Evaluation Harness?
Harness — це широко поширений відкритий інструмент для стандартизованого оцінювання мовних моделей за сотнями тестів.
Як EleutherAI отримав обчислення для навчання великих моделей на ранній стадії?
Не маючи корпоративного центру обробки даних, EleutherAI покладався на надані спонсорами ресурси TPU та GPU для навчання своїх моделей.