埃魯瑟人工智慧
EleutherAI 是一個草根非營利研究團體，當前沿人工智慧被鎖在公司牆後時，它開創了開源大型語言模型。
概述
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
深入探討
EleutherAI 於 2020 年 7 月成立，是由 Connor Leahy、Sid Black 和 Leo Gau 組織的 Discord 社區，最初旨在複製 OpenAI 的 GPT-3。為了訓練此類模型，他們首先建立並發布了 The Pile，這是一個 825GB 的精選文字資料集，已成為標準的開放訓練語料庫。隨後，他們發布了 GPT-Neo、GPT-J-6B 和 200 億參數的 GPT-NeoX-20B，這些都是當時最大的公開語言模型。他們的工具，包括 GPT-NeoX 培訓庫和在全行業範圍內用於基準測試的 LM 評估工具，成為其他人構建的基礎設施。 2023 年，EleutherAI 正式成為非營利研究機構，業務範圍擴大到可解釋性、一致性以及模型如何學習的科學領域。
技術洞察
EleutherAI 的模型使用 Transformer 解碼器架構，但 GPT-J 和 GPT-NeoX 引入了實用的工程選擇，例如用於編碼標記位置的旋轉位置嵌入 (RoPE) 和用於加速訓練的平行注意力加前饋層。至關重要的是，他們對透過 Google 的 TPU 研究雲端和 CoreWeave 等合作夥伴捐贈的 TPU 和 GPU 進行了培訓，表明分散式、贊助商資助的計算在與開放代碼配合使用時可以替代企業資料中心。
戰略影響
供應商策略
供應商路線圖會影響您的團隊接下來可以建立的功能。
成本與預算
商業條款和部署選項會影響長期成本和風險。
風險與安全
公司激勵措施塑造了產品預設、安全態勢和開放性。
EleutherAI 的未來
EleutherAI 正在從純粹的模型擴展競賽轉向可解釋性、訓練資料透明度和嚴格評估，這些都是最需要開放科學的領域。期望繼續致力於了解模型內部代表的內容、發布記錄良好的資料集並支持獨立的安全研究。隨著前沿實驗室變得越來越神秘，EleutherAI 作為公共利益平衡者、培訓下一代研究人員的角色可能比它所提供的任何單一模型的參數數量更重要。
現實世界的實施
Pile 資料集被世界各地的研究人員用來可重複地訓練和研究開放語言模型。
GPT-J-6B 和 GPT-NeoX-20B 由新創公司和學術機構部署，作為商業 API 模型的免費替代品。
LM 評估工具是許多實驗室用來對數百個任務的模型效能進行基準測試的標準工具。
獨立的安全性和可解釋性研究人員使用 EleutherAI 的開放權重來研究封閉 API 隱藏的模型內部結構。
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
在整合之前查看隱私、安全和法律條款。
維護跨模型或供應商的後備計劃。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is EleutherAI?
EleutherAI 是一個草根非營利研究團體，當前沿人工智慧被鎖在公司牆後時，它開創了開源大型語言模型。它證明了志願者社區可以建造並自由發布與封閉系統相媲美的模型，從而重塑誰可以參與人工智慧研究。
EleutherAI 最初是如何在 2020 年啟動的？
EleutherAI 最初是一個由志工組成的非正式 Discord 集體，旨在複製當時已關閉的 GPT-3。
什麼是「樁」？
The Pile 是一個大型、多樣化、公開發布的文本語料庫 EleutherAI，旨在訓練和研究語言模型。
下列哪一個是 EleutherAI 語言模式？
GPT-NeoX-20B是EleutherAI旗艦開放型號之一；其他來自 Google 或 Meta。
LM 評估工具的用途是什麼？
該工具是一種廣泛採用的開放工具，用於在數百個基準上對語言模型進行標準化評估。
EleutherAI 早期是如何獲得訓練大型模型的運算能力的？
由於缺乏企業資料中心，EleutherAI 依靠贊助商捐贈的 TPU 和 GPU 資源來訓練其模型。