คู่มือบริษัท
เอลิวเธอร์เอไอ
EleutherAI เป็นกลุ่มวิจัยที่ไม่แสวงหากำไรระดับรากหญ้าที่บุกเบิกโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์ส เมื่อ AI ระดับแนวหน้าถูกล็อกอยู่หลังกำแพงองค์กร
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
เจาะลึก
EleutherAI เริ่มต้นในเดือนกรกฎาคม 2020 ในฐานะชุมชน Discord ที่จัดโดย Connor Leahy, Sid Black และ Leo Gao โดยเดิมมีเป้าหมายที่จะจำลอง GPT-3 ของ OpenAI เพื่อฝึกโมเดลดังกล่าว พวกเขาได้สร้างและเปิดตัว The Pile เป็นครั้งแรก ซึ่งเป็นชุดข้อมูลข้อความที่มีการดูแลจัดการขนาด 825GB ซึ่งกลายเป็นคลังข้อมูลการฝึกอบรมแบบเปิดมาตรฐาน จากนั้นพวกเขาก็ได้เปิดตัว GPT-Neo, GPT-J-6B และ GPT-NeoX-20B พารามิเตอร์มูลค่า 2 หมื่นล้านพารามิเตอร์ ซึ่งถือเป็นโมเดลภาษาที่เปิดให้ใช้งานอย่างเปิดเผยที่ใหญ่ที่สุดในยุคนั้น เครื่องมือของพวกเขา รวมถึงไลบรารีการฝึกอบรม GPT-NeoX และ LM Evaling Harness ที่ใช้ทั่วทั้งอุตสาหกรรมในการเปรียบเทียบ กลายเป็นโครงสร้างพื้นฐานอื่นๆ ที่สร้างขึ้น ในปี 2023 EleutherAI ได้รับการจัดตั้งอย่างเป็นทางการให้เป็นสถาบันวิจัยที่ไม่แสวงหากำไร โดยขยายขอบเขตไปสู่ความสามารถในการตีความ การจัดแนว และศาสตร์แห่งการเรียนรู้แบบจำลอง
การใช้งานจริงในโลกแห่งความเป็นจริง
ชุดข้อมูล Pile ถูกใช้โดยนักวิจัยทั่วโลกเพื่อฝึกอบรมและศึกษาแบบจำลองภาษาเปิดที่สามารถทำซ้ำได้
GPT-J-6B และ GPT-NeoX-20B ได้รับการปรับใช้โดยสตาร์ทอัพและนักวิชาการเพื่อเป็นทางเลือกฟรีสำหรับโมเดล API เชิงพาณิชย์
LM Evaling Harness เป็นเครื่องมือมาตรฐานที่ห้องปฏิบัติการหลายแห่งใช้เพื่อเปรียบเทียบประสิทธิภาพของโมเดลในงานหลายร้อยงาน
นักวิจัยอิสระด้านความปลอดภัยและการตีความได้ใช้ตุ้มน้ำหนักแบบเปิดของ EleutherAI เพื่อศึกษาโมเดลภายในที่ API แบบปิดซ่อนอยู่
อนาคตของ EleutherAI
EleutherAI กำลังเปลี่ยนจากการแข่งกันปรับขนาดโมเดลล้วนๆ ไปสู่ความสามารถในการตีความ ความโปร่งใสของข้อมูลการฝึกอบรม และการประเมินที่เข้มงวด ซึ่งเป็นพื้นที่ที่มีความต้องการวิทยาศาสตร์แบบเปิดมากที่สุด คาดหวังการทำงานอย่างต่อเนื่องเพื่อทำความเข้าใจว่าโมเดลใดเป็นตัวแทนภายใน เผยแพร่ชุดข้อมูลที่มีการจัดทำเอกสารไว้อย่างดี และสนับสนุนการวิจัยด้านความปลอดภัยอิสระ ในขณะที่ห้องปฏิบัติการชายแดนเริ่มเป็นความลับมากขึ้น บทบาทของ EleutherAI ในฐานะผู้ถ่วงดุลผลประโยชน์สาธารณะ การฝึกอบรมนักวิจัยรุ่นต่อไป น่าจะมีความสำคัญมากกว่าการนับพารามิเตอร์ของแบบจำลองใด ๆ ที่จัดส่ง
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- กลยุทธ์ของผู้ขาย. โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
- ต้นทุนและงบประมาณ. ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
- ความเสี่ยงและความปลอดภัย. สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
ระวัง
- การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
- การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
- การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
ขั้นตอนต่อไป
- ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
- ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
- รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
- ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the EleutherAI quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is EleutherAI?
EleutherAI เป็นกลุ่มวิจัยที่ไม่แสวงหากำไรระดับรากหญ้าที่บุกเบิกโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์ส เมื่อ AI ระดับแนวหน้าถูกล็อกอยู่หลังกำแพงองค์กร มันพิสูจน์ให้เห็นว่าชุมชนอาสาสมัครสามารถสร้างและเผยแพร่แบบจำลองที่แข่งขันกับระบบปิดได้อย่างอิสระ โดยเปลี่ยนโฉมผู้ที่จะมีส่วนร่วมในการวิจัย AI
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
'กอง' คืออะไร?
The Pile เป็นคลังข้อความ EleutherAI ขนาดใหญ่ หลากหลาย และเผยแพร่อย่างเปิดเผย ซึ่งสร้างขึ้นเพื่อฝึกฝนและศึกษาโมเดลภาษา
ข้อใดคือโมเดลภาษา EleutherAI
GPT-NeoX-20B เป็นหนึ่งในรุ่นเปิดเรือธงของ EleutherAI; ส่วนอื่นๆ มาจาก Google หรือ Meta
LM Evaling Harness ใช้ทำอะไร?
สายรัดเป็นเครื่องมือแบบเปิดที่ใช้กันอย่างแพร่หลายสำหรับการประเมินแบบจำลองภาษาที่เป็นมาตรฐานจากเกณฑ์มาตรฐานหลายร้อยรายการ
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้