เอลิวเธอร์เอไอ
EleutherAI เป็นกลุ่มวิจัยที่ไม่แสวงหากำไรระดับรากหญ้าที่บุกเบิกโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์ส เมื่อ AI ระดับแนวหน้าถูกล็อกอยู่หลังกำแพงองค์กร
ภาพรวม
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
เจาะลึก
EleutherAI เริ่มต้นในเดือนกรกฎาคม 2020 ในฐานะชุมชน Discord ที่จัดโดย Connor Leahy, Sid Black และ Leo Gao โดยเดิมมีเป้าหมายที่จะจำลอง GPT-3 ของ OpenAI เพื่อฝึกโมเดลดังกล่าว พวกเขาได้สร้างและเปิดตัว The Pile เป็นครั้งแรก ซึ่งเป็นชุดข้อมูลข้อความที่มีการดูแลจัดการขนาด 825GB ซึ่งกลายเป็นคลังข้อมูลการฝึกอบรมแบบเปิดมาตรฐาน จากนั้นพวกเขาก็ได้เปิดตัว GPT-Neo, GPT-J-6B และ GPT-NeoX-20B พารามิเตอร์มูลค่า 2 หมื่นล้านพารามิเตอร์ ซึ่งถือเป็นโมเดลภาษาที่เปิดให้ใช้งานอย่างเปิดเผยที่ใหญ่ที่สุดในยุคนั้น เครื่องมือของพวกเขา รวมถึงไลบรารีการฝึกอบรม GPT-NeoX และ LM Evaling Harness ที่ใช้ทั่วทั้งอุตสาหกรรมในการเปรียบเทียบ กลายเป็นโครงสร้างพื้นฐานอื่นๆ ที่สร้างขึ้น ในปี 2023 EleutherAI ได้รับการจัดตั้งอย่างเป็นทางการให้เป็นสถาบันวิจัยที่ไม่แสวงหากำไร โดยขยายขอบเขตไปสู่ความสามารถในการตีความ การจัดแนว และศาสตร์แห่งการเรียนรู้แบบจำลอง
ข้อมูลเชิงลึกทางเทคนิค
โมเดลของ EleutherAI ใช้สถาปัตยกรรมตัวถอดรหัสหม้อแปลงไฟฟ้า แต่ GPT-J และ GPT-NeoX ได้นำเสนอตัวเลือกทางวิศวกรรมที่ใช้งานได้จริง เช่น Rotary Positional Embeddings (RoPE) สำหรับการเข้ารหัสตำแหน่งโทเค็น และเลเยอร์ความสนใจบวกฟีดไปข้างหน้าแบบคู่ขนานเพื่อเพิ่มความเร็วในการฝึกฝน โดยเฉพาะอย่างยิ่ง พวกเขาฝึกอบรมเกี่ยวกับ TPU และ GPU ที่บริจาคผ่านความร่วมมือ เช่น TPU Research Cloud และ CoreWeave ของ Google ซึ่งแสดงให้เห็นว่าการประมวลผลแบบกระจายที่ได้รับทุนสนับสนุนจากผู้สนับสนุนสามารถทดแทนศูนย์ข้อมูลขององค์กรได้เมื่อจับคู่กับโค้ดแบบเปิด
ผลกระทบเชิงกลยุทธ์
กลยุทธ์ของผู้ขาย
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
ต้นทุนและงบประมาณ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ความเสี่ยงและความปลอดภัย
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
อนาคตของ EleutherAI
EleutherAI กำลังเปลี่ยนจากการแข่งกันปรับขนาดโมเดลล้วนๆ ไปสู่ความสามารถในการตีความ ความโปร่งใสของข้อมูลการฝึกอบรม และการประเมินที่เข้มงวด ซึ่งเป็นพื้นที่ที่มีความต้องการวิทยาศาสตร์แบบเปิดมากที่สุด คาดหวังการทำงานอย่างต่อเนื่องเพื่อทำความเข้าใจว่าโมเดลใดเป็นตัวแทนภายใน เผยแพร่ชุดข้อมูลที่มีการจัดทำเอกสารไว้อย่างดี และสนับสนุนการวิจัยด้านความปลอดภัยอิสระ ในขณะที่ห้องปฏิบัติการชายแดนเริ่มเป็นความลับมากขึ้น บทบาทของ EleutherAI ในฐานะผู้ถ่วงดุลผลประโยชน์สาธารณะ การฝึกอบรมนักวิจัยรุ่นต่อไป น่าจะมีความสำคัญมากกว่าการนับพารามิเตอร์ของแบบจำลองใด ๆ ที่จัดส่ง
การใช้งานจริงในโลกแห่งความเป็นจริง
ชุดข้อมูล Pile ถูกใช้โดยนักวิจัยทั่วโลกเพื่อฝึกอบรมและศึกษาแบบจำลองภาษาเปิดที่สามารถทำซ้ำได้
GPT-J-6B และ GPT-NeoX-20B ได้รับการปรับใช้โดยสตาร์ทอัพและนักวิชาการเพื่อเป็นทางเลือกฟรีสำหรับโมเดล API เชิงพาณิชย์
LM Evaling Harness เป็นเครื่องมือมาตรฐานที่ห้องปฏิบัติการหลายแห่งใช้เพื่อเปรียบเทียบประสิทธิภาพของโมเดลในงานหลายร้อยงาน
นักวิจัยอิสระด้านความปลอดภัยและการตีความได้ใช้ตุ้มน้ำหนักแบบเปิดของ EleutherAI เพื่อศึกษาโมเดลภายในที่ API แบบปิดซ่อนอยู่
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
น้ำหนักและอคติ
คำถามที่พบบ่อย
What is EleutherAI?
EleutherAI เป็นกลุ่มวิจัยที่ไม่แสวงหากำไรระดับรากหญ้าที่บุกเบิกโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์ส เมื่อ AI ระดับแนวหน้าถูกล็อกอยู่หลังกำแพงองค์กร มันพิสูจน์ให้เห็นว่าชุมชนอาสาสมัครสามารถสร้างและเผยแพร่แบบจำลองที่แข่งขันกับระบบปิดได้อย่างอิสระ โดยเปลี่ยนโฉมผู้ที่จะมีส่วนร่วมในการวิจัย AI
EleutherAI เริ่มต้นในปี 2020 อย่างไร
EleutherAI เริ่มต้นจากการเป็นกลุ่มอาสาสมัคร Discord อย่างไม่เป็นทางการที่จัดขึ้นเพื่อจำลอง GPT-3 ที่ปิดในขณะนั้น
'กอง' คืออะไร?
The Pile เป็นคลังข้อความ EleutherAI ขนาดใหญ่ หลากหลาย และเผยแพร่อย่างเปิดเผย ซึ่งสร้างขึ้นเพื่อฝึกฝนและศึกษาโมเดลภาษา
ข้อใดคือโมเดลภาษา EleutherAI
GPT-NeoX-20B เป็นหนึ่งในรุ่นเปิดเรือธงของ EleutherAI; ส่วนอื่นๆ มาจาก Google หรือ Meta
LM Evaling Harness ใช้ทำอะไร?
สายรัดเป็นเครื่องมือแบบเปิดที่ใช้กันอย่างแพร่หลายสำหรับการประเมินแบบจำลองภาษาที่เป็นมาตรฐานจากเกณฑ์มาตรฐานหลายร้อยรายการ
EleutherAI ได้รับคอมพิวเตอร์เพื่อฝึกฝนโมเดลขนาดใหญ่ตั้งแต่เนิ่นๆ ได้อย่างไร
เนื่องจากขาดศูนย์ข้อมูลขององค์กร EleutherAI จึงอาศัยทรัพยากร TPU และ GPU ที่ผู้สนับสนุนบริจาคเพื่อฝึกฝนโมเดลของตน