СледваСледващо ръководство
Тежести и пристрастия
Фирми
Фирми РЪКОВОДСТВО
EleutherAI
EleutherAI е обикновен изследователски колектив с нестопанска цел, който е пионер в големите езикови модели с отворен код, когато граничният AI беше заключен зад корпоративни стени.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Дълбоко гмуркане
EleutherAI започна през юли 2020 г. като общност на Discord, организирана от Connor Leahy, Sid Black и Leo Gao, първоначално целяща да възпроизведе GPT-3 на OpenAI. За да обучат такива модели, те първо създадоха и пуснаха The Pile, 825GB подбран текстов набор от данни, който се превърна в стандартен отворен корпус за обучение. След това пуснаха GPT-Neo, GPT-J-6B и GPT-NeoX-20B с 20 милиарда параметъра, сред най-големите свободно достъпни езикови модели на своето време. Техните инструменти, включително библиотеката за обучение GPT-NeoX и LM Evaluation Harness, използвани в цялата индустрия за сравнителен анализ, се превърнаха в инфраструктура, върху която други се градиха. През 2023 г. EleutherAI се официализира като изследователски институт с нестопанска цел, разширявайки се в интерпретируемостта, подравняването и науката за това как моделите се учат.
Внедряване в реалния свят
Наборът от данни Pile се използва от изследователи по целия свят за обучение и изучаване на възпроизводими модели на отворен език.
GPT-J-6B и GPT-NeoX-20B се внедряват от стартиращи компании и академици като безплатни алтернативи на комерсиалните API модели.
LM Evaluation Harness е стандартният инструмент, който много лаборатории използват за сравнение на производителността на модела в стотици задачи.
Независими изследователи по безопасност и интерпретируемост използват отворените тегла на EleutherAI, за да проучат вътрешните елементи на модела, които затворените API крият.
Бъдещето на EleutherAI
EleutherAI преминава от чисто надпревара за мащабиране на модели към интерпретируемост, прозрачност на данните за обучение и строга оценка, области, където отворената наука е най-необходима. Очаквайте продължителна работа по разбирането на това, което моделите представляват вътрешно, пускане на добре документирани масиви от данни и подкрепа на независими изследвания на безопасността. Докато граничните лаборатории стават все по-потайни, ролята на EleutherAI като противотежест на обществения интерес, обучаващ следващото поколение изследователи, вероятно има повече значение от броя на параметрите на всеки отделен модел, който изпраща.
Прилагайки го на практика
Защо има значение
- Стратегия на доставчика. Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
- Разходи и бюджет. Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
- Риск и безопасност. Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Внимавайте за
- Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
- Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
- Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Следващи стъпки
- Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
- Прегледайте поверителността, сигурността и правните условия преди интегриране.
- Поддържайте резервен план за модели или доставчици.
- Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the EleutherAI quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is EleutherAI?
EleutherAI е обикновен изследователски колектив с нестопанска цел, който е пионер в големите езикови модели с отворен код, когато граничният AI беше заключен зад корпоративни стени. Доказа се, че общност от доброволци може да изгради и свободно да пусне модели, съперничещи на затворени системи, прекроявайки кой да участва в изследванията на ИИ.
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
Какво е "The Pile"?
The Pile е голям, разнообразен, открито пуснат текстов корпус EleutherAI, създаден за обучение и изучаване на езикови модели.
Кой от тях е езиков модел EleutherAI?
GPT-NeoX-20B е един от водещите отворени модели на EleutherAI; другите идват от Google или Meta.
За какво се използва LM Evaluation Harness?
Harness е широко възприет отворен инструмент за стандартизирана оценка на езикови модели на стотици бенчмаркове.
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема