ภาพรวม
EleutherAI เป็นกลุ่มวิจัยที่ไม่แสวงหากำไรระดับรากหญ้าที่บุกเบิกโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์ส เมื่อ AI ระดับแนวหน้าถูกล็อกอยู่หลังกำแพงองค์กร มันพิสูจน์ให้เห็นว่าชุมชนอาสาสมัครสามารถสร้างและเผยแพร่แบบจำลองที่แข่งขันกับระบบปิดได้อย่างอิสระ โดยเปลี่ยนโฉมผู้ที่จะมีส่วนร่วมในการวิจัย AI
EleutherAI เป็นที่เข้าใจดีที่สุดในบริบทของกลยุทธ์ การเข้าถึงโมเดล การตัดสินใจเกี่ยวกับแพลตฟอร์ม และความร่วมมือในระบบนิเวศ
เจาะลึก
EleutherAI เริ่มต้นในเดือนกรกฎาคม 2020 ในฐานะชุมชน Discord ที่จัดโดย Connor Leahy, Sid Black และ Leo Gao โดยเดิมมีเป้าหมายที่จะจำลอง GPT-3 ของ OpenAI เพื่อฝึกโมเดลดังกล่าว พวกเขาได้สร้างและเปิดตัว The Pile เป็นครั้งแรก ซึ่งเป็นชุดข้อมูลข้อความที่มีการดูแลจัดการขนาด 825GB ซึ่งกลายเป็นคลังข้อมูลการฝึกอบรมแบบเปิดมาตรฐาน จากนั้นพวกเขาก็ได้เปิดตัว GPT-Neo, GPT-J-6B และ GPT-NeoX-20B พารามิเตอร์มูลค่า 2 หมื่นล้านพารามิเตอร์ ซึ่งถือเป็นโมเดลภาษาที่เปิดให้ใช้งานอย่างเปิดเผยที่ใหญ่ที่สุดในยุคนั้น เครื่องมือของพวกเขา รวมถึงไลบรารีการฝึกอบรม GPT-NeoX และ LM Evaling Harness ที่ใช้ทั่วทั้งอุตสาหกรรมในการเปรียบเทียบ กลายเป็นโครงสร้างพื้นฐานอื่นๆ ที่สร้างขึ้น ในปี 2023 EleutherAI ได้รับการจัดตั้งอย่างเป็นทางการให้เป็นสถาบันวิจัยที่ไม่แสวงหากำไร โดยขยายขอบเขตไปสู่ความสามารถในการตีความ การจัดแนว และศาสตร์แห่งการเรียนรู้แบบจำลอง
ข้อมูลเชิงลึกทางเทคนิค
โมเดลของ EleutherAI ใช้สถาปัตยกรรมตัวถอดรหัสหม้อแปลงไฟฟ้า แต่ GPT-J และ GPT-NeoX ได้นำเสนอตัวเลือกทางวิศวกรรมที่ใช้งานได้จริง เช่น Rotary Positional Embeddings (RoPE) สำหรับการเข้ารหัสตำแหน่งโทเค็น และเลเยอร์ความสนใจบวกฟีดไปข้างหน้าแบบคู่ขนานเพื่อเพิ่มความเร็วในการฝึกฝน โดยเฉพาะอย่างยิ่ง พวกเขาฝึกอบรมเกี่ยวกับ TPU และ GPU ที่บริจาคผ่านความร่วมมือ เช่น TPU Research Cloud และ CoreWeave ของ Google ซึ่งแสดงให้เห็นว่าการประมวลผลแบบกระจายที่ได้รับทุนสนับสนุนจากผู้สนับสนุนสามารถทดแทนศูนย์ข้อมูลขององค์กรได้เมื่อจับคู่กับโค้ดแบบเปิด
การเรียนรู้ EleutherAI
EleutherAI เป็นกลุ่มวิจัยที่ไม่แสวงหากำไรระดับรากหญ้าที่บุกเบิกโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์ส เมื่อ AI ระดับแนวหน้าถูกล็อกอยู่หลังกำแพงองค์กร มันพิสูจน์ให้เห็นว่าชุมชนอาสาสมัครสามารถสร้างและเผยแพร่แบบจำลองที่แข่งขันกับระบบปิดได้อย่างอิสระ โดยเปลี่ยนโฉมผู้ที่จะมีส่วนร่วมในการวิจัย AI EleutherAI เป็นที่เข้าใจดีที่สุดในบริบทของกลยุทธ์ การเข้าถึงโมเดล การตัดสินใจเกี่ยวกับแพลตฟอร์ม และความร่วมมือในระบบนิเวศ เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า EleutherAI เป็นแบบจำลองการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ EleutherAI จะประเมินกลยุทธ์ของผู้จำหน่าย ความน่าเชื่อถือของแผนงาน และความเสี่ยงในการล็อคอินก่อนตัดสินใจ โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป ในขณะเดียวกัน การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
ชุดข้อมูล Pile ถูกใช้โดยนักวิจัยทั่วโลกเพื่อฝึกอบรมและศึกษาแบบจำลองภาษาเปิดที่สามารถทำซ้ำได้
GPT-J-6B และ GPT-NeoX-20B ได้รับการปรับใช้โดยสตาร์ทอัพและนักวิชาการเพื่อเป็นทางเลือกฟรีสำหรับโมเดล API เชิงพาณิชย์
LM Evaling Harness เป็นเครื่องมือมาตรฐานที่ห้องปฏิบัติการหลายแห่งใช้เพื่อเปรียบเทียบประสิทธิภาพของโมเดลในงานหลายร้อยงาน
นักวิจัยอิสระด้านความปลอดภัยและการตีความได้ใช้ตุ้มน้ำหนักแบบเปิดของ EleutherAI เพื่อศึกษาโมเดลภายในที่ API แบบปิดซ่อนอยู่
รูปแบบการดำเนินงาน
EleutherAI ในทางปฏิบัติ
ชุดข้อมูล Pile ถูกใช้โดยนักวิจัยทั่วโลกเพื่อฝึกอบรมและศึกษาแบบจำลองภาษาเปิดที่สามารถทำซ้ำได้
ชุดข้อมูล Pile ถูกใช้โดยนักวิจัยทั่วโลกเพื่อฝึกอบรมและศึกษาโมเดลภาษาแบบเปิดที่ทำซ้ำได้ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
EleutherAI ในทางปฏิบัติ
GPT-J-6B และ GPT-NeoX-20B ได้รับการปรับใช้โดยสตาร์ทอัพและนักวิชาการเพื่อเป็นทางเลือกฟรีสำหรับโมเดล API เชิงพาณิชย์
GPT-J-6B และ GPT-NeoX-20B ได้รับการปรับใช้โดยสตาร์ทอัพและนักวิชาการเป็นทางเลือกฟรีสำหรับโมเดล API เชิงพาณิชย์ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
EleutherAI ในทางปฏิบัติ
LM Evaling Harness เป็นเครื่องมือมาตรฐานที่ห้องปฏิบัติการหลายแห่งใช้เพื่อเปรียบเทียบประสิทธิภาพของโมเดลในงานหลายร้อยงาน
LM Evaling Harness เป็นเครื่องมือมาตรฐานที่ห้องปฏิบัติการหลายแห่งใช้เพื่อเปรียบเทียบประสิทธิภาพของแบบจำลองในงานหลายร้อยงาน ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
EleutherAI ในทางปฏิบัติ
นักวิจัยอิสระด้านความปลอดภัยและการตีความได้ใช้ตุ้มน้ำหนักแบบเปิดของ EleutherAI เพื่อศึกษาโมเดลภายในที่ API แบบปิดซ่อนอยู่
นักวิจัยอิสระด้านความปลอดภัยและการตีความได้ใช้น้ำหนักแบบเปิดของ EleutherAI เพื่อศึกษาโมเดลภายในที่ API แบบปิดซ่อน โดยปกติแล้วทีมจะได้รับผลลัพธ์ที่ดีกว่า เมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับ Edge Case และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น