概述
EleutherAI 是一個草根非營利研究團體，當前沿人工智慧被鎖在公司牆後時，它開創了開源大型語言模型。它證明了志願者社區可以建造並自由發布與封閉系統相媲美的模型，從而重塑誰可以參與人工智慧研究。
EleutherAI 在策略、模型存取、平台決策和生態系統合作夥伴關係的背景下得到最好的理解。
深入探討
EleutherAI 於 2020 年 7 月成立，是由 Connor Leahy、Sid Black 和 Leo Gau 組織的 Discord 社區，最初旨在複製 OpenAI 的 GPT-3。為了訓練此類模型，他們首先建立並發布了 The Pile，這是一個 825GB 的精選文字資料集，已成為標準的開放訓練語料庫。隨後，他們發布了 GPT-Neo、GPT-J-6B 和 200 億參數的 GPT-NeoX-20B，這些都是當時最大的公開語言模型。他們的工具，包括 GPT-NeoX 培訓庫和在全行業範圍內用於基準測試的 LM 評估工具，成為其他人構建的基礎設施。 2023 年，EleutherAI 正式成為非營利研究機構，業務範圍擴大到可解釋性、一致性以及模型如何學習的科學領域。
技術洞察
EleutherAI 的模型使用 Transformer 解碼器架構，但 GPT-J 和 GPT-NeoX 引入了實用的工程選擇，例如用於編碼標記位置的旋轉位置嵌入 (RoPE) 和用於加速訓練的平行注意力加前饋層。至關重要的是，他們對透過 Google 的 TPU 研究雲端和 CoreWeave 等合作夥伴捐贈的 TPU 和 GPU 進行了培訓，表明分散式、贊助商資助的計算在與開放代碼配合使用時可以替代企業資料中心。
掌握 EleutherAI
EleutherAI 是一個草根非營利研究團體，當前沿人工智慧被鎖在公司牆後時，它開創了開源大型語言模型。它證明了志願者社區可以建造並自由發布與封閉系統相媲美的模型，從而重塑誰可以參與人工智慧研究。 EleutherAI 在策略、模型存取、平台決策和生態系統合作夥伴關係的背景下得到最好的理解。為了建立深入的理解，請將 EleutherAI 視為一種操作模型，而不是單一功能：定義期望的結果，澄清假設，並將系統可以可靠地完成的任務與仍需要專家判斷的任務分開。
在實踐中，使用 EleutherAI 的強大團隊在提交之前會評估供應商策略、路線圖可靠性和鎖定風險。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
供應商路線圖會影響您的團隊接下來可以建立的功能。同時，發佈公告可能會超過實際生產工作流程的穩定性。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
供應商路線圖會影響您的團隊接下來可以建立的功能。
供應商路線圖會影響您的團隊接下來可以建立的功能。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
商業條款和部署選項會影響長期成本和風險。
商業條款和部署選項會影響長期成本和風險。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
公司激勵措施塑造了產品預設、安全態勢和開放性。
公司激勵措施塑造了產品預設、安全態勢和開放性。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
Pile 資料集被世界各地的研究人員用來可重複地訓練和研究開放語言模型。
GPT-J-6B 和 GPT-NeoX-20B 由新創公司和學術機構部署，作為商業 API 模型的免費替代品。
LM 評估工具是許多實驗室用來對數百個任務的模型效能進行基準測試的標準工具。
獨立的安全性和可解釋性研究人員使用 EleutherAI 的開放權重來研究封閉 API 隱藏的模型內部結構。
實施模式
EleutherAI 實踐
Pile 資料集被世界各地的研究人員用來可重複地訓練和研究開放語言模型。
世界各地的研究人員使用 Pile 資料集來可重複地訓練和研究開放語言模型。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
EleutherAI 實踐
GPT-J-6B 和 GPT-NeoX-20B 由新創公司和學術機構部署，作為商業 API 模型的免費替代品。
GPT-J-6B 和 GPT-NeoX-20B 由新創公司和學術機構部署，作為商業 API 模型的免費替代品。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
EleutherAI 實踐
LM 評估工具是許多實驗室用來對數百個任務的模型效能進行基準測試的標準工具。
LM 評估工具是許多實驗室用來對數百個任務的模型效能進行基準測試的標準工具。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力增益和錯誤成本時，通常會獲得更好的結果。
EleutherAI 實踐
獨立的安全性和可解釋性研究人員使用 EleutherAI 的開放權重來研究封閉 API 隱藏的模型內部結構。
獨立的安全性和可解釋性研究人員使用 EleutherAI 的開放權重來研究封閉 API 隱藏的模型內部結構。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
使用您自己的任務和資料集評估提供者。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在整合之前查看隱私、安全和法律條款。
在整合之前查看隱私、安全和法律條款。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
維護跨模型或供應商的後備計劃。
維護跨模型或供應商的後備計劃。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。