概述
它證明了志願者社區可以建造並自由發布與封閉系統相媲美的模型,從而重塑誰可以參與人工智慧研究。
深入探討
EleutherAI 於 2020 年 7 月成立,是由 Connor Leahy、Sid Black 和 Leo Gau 組織的 Discord 社區,最初旨在複製 OpenAI 的 GPT-3。為了訓練此類模型,他們首先建立並發布了 The Pile,這是一個 825GB 的精選文字資料集,已成為標準的開放訓練語料庫。隨後,他們發布了 GPT-Neo、GPT-J-6B 和 200 億參數的 GPT-NeoX-20B,這些都是當時最大的公開語言模型。他們的工具,包括 GPT-NeoX 培訓庫和在全行業範圍內用於基準測試的 LM 評估工具,成為其他人構建的基礎設施。 2023 年,EleutherAI 正式成為非營利研究機構,業務範圍擴大到可解釋性、一致性以及模型如何學習的科學領域。
現實世界的實施
Pile 資料集被世界各地的研究人員用來可重複地訓練和研究開放語言模型。
GPT-J-6B 和 GPT-NeoX-20B 由新創公司和學術機構部署,作為商業 API 模型的免費替代品。
LM 評估工具是許多實驗室用來對數百個任務的模型效能進行基準測試的標準工具。
獨立的安全性和可解釋性研究人員使用 EleutherAI 的開放權重來研究封閉 API 隱藏的模型內部結構。
EleutherAI 的未來
EleutherAI 正在從純粹的模型擴展競賽轉向可解釋性、訓練資料透明度和嚴格評估,這些都是最需要開放科學的領域。期望繼續致力於了解模型內部代表的內容、發布記錄良好的資料集並支持獨立的安全研究。隨著前沿實驗室變得越來越神秘,EleutherAI 作為公共利益平衡者、培訓下一代研究人員的角色可能比它所提供的任何單一模型的參數數量更重要。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
什麼是 EleutherAI?
EleutherAI 是一個草根非營利研究團體,當前沿人工智慧被鎖在公司牆後時,它開創了開源大型語言模型。它證明了志願者社區可以建造並自由發布與封閉系統相媲美的模型,從而重塑誰可以參與人工智慧研究。
EleutherAI 最初是如何將其研究社群聚集在一起的?
EleutherAI 的歷史頁面將其描述為從 2020 年 7 月開始作為 Discord 伺服器,用於討論 GPT-3 和開放語言模型。
什麼是「樁」?
The Pile 是一個大型、多樣化、公開發布的文本語料庫 EleutherAI,旨在訓練和研究語言模型。
下列哪一個是 EleutherAI 語言模式?
GPT-NeoX-20B是EleutherAI旗艦開放型號之一;其他來自 Google 或 Meta。
LM 評估工具的用途是什麼?
該工具是一種廣泛採用的開放工具,用於在數百個基準上對語言模型進行標準化評估。
EleutherAI 的回顧中將哪些組織列為研究支持者?
EleutherAI 關於開放研究的論文感謝 CoreWeave 和 TPU 研究雲以及其他支持者的支持和貢獻。