EleutherAI
EleutherAI е обикновен изследователски колектив с нестопанска цел, който е пионер в големите езикови модели с отворен код, когато граничният AI беше заключен зад корпоративни стени.
Преглед
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Дълбоко гмуркане
EleutherAI започна през юли 2020 г. като общност на Discord, организирана от Connor Leahy, Sid Black и Leo Gao, първоначално целяща да възпроизведе GPT-3 на OpenAI. За да обучат такива модели, те първо създадоха и пуснаха The Pile, 825GB подбран текстов набор от данни, който се превърна в стандартен отворен корпус за обучение. След това пуснаха GPT-Neo, GPT-J-6B и GPT-NeoX-20B с 20 милиарда параметъра, сред най-големите свободно достъпни езикови модели на своето време. Техните инструменти, включително библиотеката за обучение GPT-NeoX и LM Evaluation Harness, използвани в цялата индустрия за сравнителен анализ, се превърнаха в инфраструктура, върху която други се градиха. През 2023 г. EleutherAI се официализира като изследователски институт с нестопанска цел, разширявайки се в интерпретируемостта, подравняването и науката за това как моделите се учат.
Техническа информация
Моделите на EleutherAI използват архитектурата на трансформаторния декодер, но GPT-J и GPT-NeoX въведоха практически инженерни решения като Rotary Positional Embeddings (RoPE) за кодиране на позиции на токени и паралелизирани слоеве за внимание плюс подаване напред за ускоряване на обучението. Най-важното е, че те се обучаваха на TPU и GPU, дарени чрез партньорства като TPU Research Cloud и CoreWeave на Google, показвайки, че разпределените, финансирани от спонсори изчисления могат да заменят корпоративен център за данни, когато са сдвоени с отворен код.
Стратегическо въздействие
Vendor strategy
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Cost and budget
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Risk and safety
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Бъдещето на EleutherAI
EleutherAI преминава от чисто надпревара за мащабиране на модели към интерпретируемост, прозрачност на данните за обучение и строга оценка, области, където отворената наука е най-необходима. Очаквайте продължителна работа по разбирането на това, което моделите представляват вътрешно, пускане на добре документирани масиви от данни и подкрепа на независими изследвания на безопасността. Докато граничните лаборатории стават все по-потайни, ролята на EleutherAI като противотежест на обществения интерес, обучаващ следващото поколение изследователи, вероятно има повече значение от броя на параметрите на всеки отделен модел, който изпраща.
Внедряване в реалния свят
Наборът от данни Pile се използва от изследователи по целия свят за обучение и изучаване на възпроизводими модели на отворен език.
GPT-J-6B и GPT-NeoX-20B се внедряват от стартиращи компании и академици като безплатни алтернативи на комерсиалните API модели.
LM Evaluation Harness е стандартният инструмент, който много лаборатории използват за сравнение на производителността на модела в стотици задачи.
Независими изследователи по безопасност и интерпретируемост използват отворените тегла на EleutherAI, за да проучат вътрешните елементи на модела, които затворените API крият.
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Поддържайте резервен план за модели или доставчици.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Тежести и пристрастия
Frequently asked questions
What is EleutherAI?
EleutherAI е обикновен изследователски колектив с нестопанска цел, който е пионер в големите езикови модели с отворен код, когато граничният AI беше заключен зад корпоративни стени. Доказа се, че общност от доброволци може да изгради и свободно да пусне модели, съперничещи на затворени системи, прекроявайки кой да участва в изследванията на ИИ.
Как първоначално стартира EleutherAI през 2020 г.?
EleutherAI започна като неформален колектив на Discord от доброволци, организирани да копират затворения тогава GPT-3.
Какво е "The Pile"?
The Pile е голям, разнообразен, открито пуснат текстов корпус EleutherAI, създаден за обучение и изучаване на езикови модели.
Кой от тях е езиков модел EleutherAI?
GPT-NeoX-20B е един от водещите отворени модели на EleutherAI; другите идват от Google или Meta.
За какво се използва LM Evaluation Harness?
Harness е широко възприет отворен инструмент за стандартизирана оценка на езикови модели на стотици бенчмаркове.
Как EleutherAI получи изчисленията за обучение на големи модели в началото?
Липсвайки корпоративен център за данни, EleutherAI разчиташе на дарени от спонсор TPU и GPU ресурси, за да обучи своите модели.