엘레우더AI
EleutherAI는 프론티어 AI가 기업 벽 뒤에 갇혀 있을 때 오픈 소스 대규모 언어 모델을 개척한 풀뿌리 비영리 연구 집단입니다.
개요
자원봉사 커뮤니티가 폐쇄형 시스템에 필적하는 모델을 만들고 자유롭게 공개할 수 있음을 증명하며, AI 연구에 참여할 수 있는 대상을 재편했습니다.
심층 분석
EleutherAI는 원래 OpenAI의 GPT-3 복제를 목표로 Connor Leahy, Sid Black 및 Leo Gao가 조직한 Discord 커뮤니티로 2020년 7월에 시작되었습니다. 이러한 모델을 훈련하기 위해 그들은 먼저 표준 개방형 훈련 코퍼스가 된 825GB의 선별된 텍스트 데이터 세트인 The Pile을 구축하고 출시했습니다. 그런 다음 당시 공개적으로 사용 가능한 가장 큰 언어 모델 중 하나인 GPT-Neo, GPT-J-6B 및 200억 매개변수 GPT-NeoX-20B를 출시했습니다. 벤치마킹을 위해 업계 전반에서 사용되는 GPT-NeoX 교육 라이브러리 및 LM 평가 하네스를 포함한 도구는 다른 도구의 기반이 되었습니다. 2023년 EleutherAI는 비영리 연구 기관으로 공식화되어 모델 학습 방법에 대한 해석 가능성, 정렬 및 과학 분야로 확대되었습니다.
기술적 통찰력
EleutherAI의 모델은 변환기 디코더 아키텍처를 사용하지만 GPT-J 및 GPT-NeoX는 토큰 위치 인코딩을 위한 RoPE(Rotary Positional Embeddings)와 훈련 속도를 높이기 위한 병렬 주의 및 피드포워드 레이어와 같은 실용적인 엔지니어링 선택을 도입했습니다. 결정적으로 그들은 Google의 TPU Research Cloud 및 CoreWeave와 같은 파트너십을 통해 기부된 TPU 및 GPU에 대해 교육했으며, 이는 분산형 후원자 지원 컴퓨팅이 공개 코드와 결합될 때 기업 데이터 센터를 대체할 수 있음을 보여주었습니다.
전략적 영향
벤더 전략
공급업체 로드맵은 팀이 다음에 구축할 수 있는 기능에 영향을 미칩니다.
비용 및 예산
상업적 조건과 배포 옵션은 장기적인 비용과 위험에 영향을 미칩니다.
위험과 안전
회사 인센티브는 제품 기본값, 안전 태세 및 개방성을 형성합니다.
EleutherAI의 미래
EleutherAI는 순수한 모델 확장 경쟁에서 개방형 과학이 가장 필요한 영역인 해석 가능성, 교육 데이터 투명성 및 엄격한 평가로 전환하고 있습니다. 모델이 내부적으로 무엇을 나타내는지 이해하고, 잘 문서화된 데이터 세트를 공개하고, 독립적인 안전 연구를 지원하기 위한 지속적인 작업을 기대합니다. 프론티어 연구소가 더욱 비밀스러워짐에 따라 차세대 연구원을 교육하는 공익 균형추로서의 EleutherAI의 역할은 제공되는 단일 모델의 매개변수 수보다 더 중요할 것입니다.
실제 구현
Pile 데이터 세트는 전 세계 연구자들이 개방형 언어 모델을 재현 가능하게 훈련하고 연구하는 데 사용됩니다.
GPT-J-6B 및 GPT-NeoX-20B는 스타트업과 학계에서 상용 API 모델의 무료 대안으로 배포합니다.
LM 평가 하네스는 수백 가지 작업에 걸쳐 모델 성능을 벤치마킹하기 위해 많은 실험실에서 사용하는 표준 도구입니다.
독립적인 안전성 및 해석성 연구자들은 EleutherAI의 개방형 가중치를 사용하여 폐쇄형 API가 숨기는 모델 내부를 연구합니다.
위험 및 가드레일
출시 발표는 실제 생산 워크플로의 안정성보다 앞설 수 있습니다.
API 가격 책정이나 정책 변경으로 인해 하룻밤 사이에 가정이 깨질 수 있습니다.
단일 공급업체 종속성은 종속 및 마이그레이션 비용을 증가시킵니다.
구현 로드맵
자체 작업과 데이터 세트를 사용하여 공급자를 평가합니다.
통합하기 전에 개인정보 보호, 보안, 법적 약관을 검토하세요.
모델이나 공급업체 전반에 걸쳐 대체 계획을 유지합니다.
로드맵 변경으로 인해 팀이 놀라지 않도록 릴리스 노트를 모니터링하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
가중치 및 편향
자주 묻는 질문
EleutherAI란 무엇인가요?
EleutherAI는 프론티어 AI가 기업 벽 뒤에 갇혀 있을 때 오픈 소스 대규모 언어 모델을 개척한 풀뿌리 비영리 연구 집단입니다. 이는 자원 봉사 커뮤니티가 폐쇄형 시스템에 필적하는 모델을 구축하고 자유롭게 출시하여 AI 연구에 참여할 사람을 재구성할 수 있음을 입증했습니다.
EleutherAI는 2020년에 원래 어떻게 시작됐나요?
EleutherAI는 당시 폐쇄된 GPT-3를 복제하기 위해 조직된 비공식 Discord 자원 봉사 집단으로 시작되었습니다.
'더 파일'이란 무엇입니까?
The Pile은 언어 모델을 훈련하고 연구하기 위해 구축된 크고 다양하며 공개적으로 출시된 텍스트 코퍼스 EleutherAI입니다.
다음 중 EleutherAI 언어 모델은 무엇입니까?
GPT-NeoX-20B는 EleutherAI의 대표적인 개방형 모델 중 하나입니다. 다른 것들은 Google 또는 Meta에서 왔습니다.
LM 평가 하네스는 어떤 용도로 사용되나요?
하네스는 수백 개의 벤치마크에서 언어 모델의 표준화된 평가를 위해 널리 채택되는 개방형 도구입니다.
EleutherAI는 초기에 대규모 모델을 훈련하기 위한 컴퓨팅을 어떻게 얻었습니까?
기업 데이터 센터가 부족한 EleutherAI는 후원자가 기부한 TPU 및 GPU 리소스에 의존하여 모델을 훈련했습니다.