ภาพรวม
BigScience เป็นความร่วมมือด้านการวิจัยแบบเปิดตลอดทั้งปีของนักวิจัยมากกว่า 1,000 คน ซึ่งผลิต BLOOM ซึ่งเป็นหนึ่งในโมเดลภาษาขนาดใหญ่ที่เผยแพร่อย่างเปิดเผยหลายภาษาอย่างแท้จริงกลุ่มแรกๆ สิ่งสำคัญคือเป็นจุดเด่นของ AI ที่โปร่งใสและขับเคลื่อนโดยชุมชนซึ่งสร้างขึ้นนอก Big Tech
BigScience และ BLOOM Model เป็นที่เข้าใจกันดีที่สุดในบริบทของกลยุทธ์ การเข้าถึงโมเดล การตัดสินใจของแพลตฟอร์ม และความร่วมมือในระบบนิเวศ
เจาะลึก
BigScience เป็นเวิร์กช็อปการวิจัยระยะเวลาหนึ่งปีที่ดำเนินการตั้งแต่ปี 2021 ถึง 2022 โดยประสานงานโดย Hugging Face และรวบรวมนักวิจัยอาสาสมัครมากกว่า 1,000 คนจากกว่า 60 ประเทศและสถาบัน 250 แห่ง พาดหัวข่าวที่เผยแพร่ในเดือนกรกฎาคม 2022 คือ BLOOM ซึ่งเป็นโมเดลภาษาถอยหลังอัตโนมัติที่มีพารามิเตอร์ 176 พันล้านพารามิเตอร์ BLOOM มีเจตนาที่จะพูดได้หลายภาษา โดยได้รับการฝึกอบรมใน ROOTS Corpus ซึ่งครอบคลุมภาษาธรรมชาติ 46 ภาษา และภาษาโปรแกรม 13 ภาษา โดยมีการนำเสนอภาษาที่ด้อยโอกาส เช่น ภาษาแอฟริกันและเอเชียใต้หลายภาษา การฝึกอบรมดำเนินไปเป็นเวลาหลายเดือนบนซูเปอร์คอมพิวเตอร์ Jean Zay ที่ได้รับทุนสนับสนุนจากสาธารณะในฝรั่งเศส โดยใช้ GPU ประมาณ 384 ตัว BLOOM ได้รับการเผยแพร่ภายใต้ Responsible AI License พร้อมด้วยเอกสารฉบับสมบูรณ์เกี่ยวกับข้อมูล การฝึกอบรม และการใช้งานตามวัตถุประสงค์ ซึ่งแตกต่างอย่างมากกับการพัฒนาแบบปิดของโมเดลที่เทียบเคียงได้
ข้อมูลเชิงลึกทางเทคนิค
BLOOM เป็นหม้อแปลงเฉพาะตัวถอดรหัสที่มีขนาดใกล้เคียงกับ GPT-3 โดยใช้การฝังตำแหน่ง ALiBi แทนเวกเตอร์ตำแหน่งที่เรียนรู้ ซึ่งช่วยคาดการณ์ลำดับที่ยาวกว่าที่เห็นในการฝึก นอกจากนี้ยังใช้การปรับมาตรฐานเลเยอร์แบบฝังซึ่งปรับปรุงความเสถียรในการฝึกอบรมในวงกว้าง คลังข้อมูล ROOTS หลายภาษาได้รับการรวบรวมและจัดทำเอกสารอย่างระมัดระวัง เพื่อให้การผสมผสานภาษาและแหล่งข้อมูลมีความโปร่งใสและตรวจสอบได้ ซึ่งเป็นการจงใจออกจากชุดข้อมูลที่คัดลอกมาอย่างทึบแสง
การเรียนรู้ BigScience และโมเดล BLOOM
BigScience เป็นความร่วมมือด้านการวิจัยแบบเปิดตลอดทั้งปีของนักวิจัยมากกว่า 1,000 คน ซึ่งผลิต BLOOM ซึ่งเป็นหนึ่งในโมเดลภาษาขนาดใหญ่ที่เผยแพร่อย่างเปิดเผยหลายภาษาอย่างแท้จริงกลุ่มแรกๆ สิ่งสำคัญคือเป็นจุดเด่นของ AI ที่โปร่งใสและขับเคลื่อนโดยชุมชนซึ่งสร้างขึ้นนอก Big Tech BigScience และ BLOOM Model เป็นที่เข้าใจกันดีที่สุดในบริบทของกลยุทธ์ การเข้าถึงโมเดล การตัดสินใจของแพลตฟอร์ม และความร่วมมือในระบบนิเวศ เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า BigScience และ BLOOM Model เป็นแบบจำลองการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ BigScience และ BLOOM Model จะประเมินกลยุทธ์ของผู้จำหน่าย ความน่าเชื่อถือของแผนงาน และความเสี่ยงในการล็อคอินก่อนตัดสินใจ โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป ในขณะเดียวกัน การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างและการเติมข้อความในภาษาต่างๆ มากมาย รวมถึงภาษาที่โมเดลเชิงพาณิชย์ไม่รองรับด้วย
ทำหน้าที่เป็นพื้นฐานการวิจัยแบบเปิดสำหรับการศึกษาอคติ การถ่ายโอนหลายภาษา และพฤติกรรมการปรับขนาด
การปรับแต่งอย่างละเอียดในรูปแบบเฉพาะงานหรือตามคำสั่ง เช่น BLOOMZ สำหรับชุมชนที่ไม่ใช่ภาษาอังกฤษ
จัดทำแบบจำลองที่มีเอกสารครบถ้วนสำหรับนักวิชาการที่กำลังศึกษาแหล่งที่มาของข้อมูลการฝึกอบรมและการออกใบอนุญาต AI ที่มีความรับผิดชอบ
รูปแบบการดำเนินงาน
BigScience และ BLOOM Model ในทางปฏิบัติ
การสร้างและการเติมข้อความในภาษาต่างๆ มากมาย รวมถึงภาษาที่โมเดลเชิงพาณิชย์ไม่รองรับด้วย
การสร้างและการกรอกข้อความในหลายภาษา รวมถึงภาษาที่โมเดลเชิงพาณิชย์ไม่รองรับ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อกำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
BigScience และ BLOOM Model ในทางปฏิบัติ
ทำหน้าที่เป็นพื้นฐานการวิจัยแบบเปิดสำหรับการศึกษาอคติ การถ่ายโอนหลายภาษา และพฤติกรรมการปรับขนาด
ทำหน้าที่เป็นพื้นฐานการวิจัยแบบเปิดสำหรับการศึกษาอคติ การถ่ายโอนหลายภาษา และพฤติกรรมการปรับขนาด ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
BigScience และ BLOOM Model ในทางปฏิบัติ
การปรับแต่งอย่างละเอียดในรูปแบบเฉพาะงานหรือตามคำสั่ง เช่น BLOOMZ สำหรับชุมชนที่ไม่ใช่ภาษาอังกฤษ
การปรับแต่งอย่างละเอียดในรูปแบบเฉพาะงานหรือตามคำสั่ง เช่น BLOOMZ สำหรับชุมชนที่ไม่ใช่ภาษาอังกฤษ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
BigScience และ BLOOM Model ในทางปฏิบัติ
จัดทำแบบจำลองที่มีเอกสารครบถ้วนสำหรับนักวิชาการที่กำลังศึกษาแหล่งที่มาของข้อมูลการฝึกอบรมและการออกใบอนุญาต AI ที่มีความรับผิดชอบ
การจัดหาแบบจำลองที่บันทึกไว้อย่างครบถ้วนสำหรับนักวิชาการที่ศึกษาแหล่งที่มาของข้อมูลการฝึกอบรมและการออกใบอนุญาต AI ที่มีความรับผิดชอบ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น