BigScience และโมเดล BLOOM
BigScience เป็นความร่วมมือด้านการวิจัยแบบเปิดตลอดทั้งปีของนักวิจัยมากกว่า 1,000 คน ซึ่งผลิต BLOOM ซึ่งเป็นหนึ่งในโมเดลภาษาขนาดใหญ่ที่เผยแพร่อย่างเปิดเผยหลายภาษาอย่างแท้จริงกลุ่มแรกๆ
ภาพรวม
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
เจาะลึก
BigScience เป็นเวิร์กช็อปการวิจัยระยะเวลาหนึ่งปีที่ดำเนินการตั้งแต่ปี 2021 ถึง 2022 โดยประสานงานโดย Hugging Face และรวบรวมนักวิจัยอาสาสมัครมากกว่า 1,000 คนจากกว่า 60 ประเทศและสถาบัน 250 แห่ง พาดหัวข่าวที่เผยแพร่ในเดือนกรกฎาคม 2022 คือ BLOOM ซึ่งเป็นโมเดลภาษาถอยหลังอัตโนมัติที่มีพารามิเตอร์ 176 พันล้านพารามิเตอร์ BLOOM มีเจตนาที่จะพูดได้หลายภาษา โดยได้รับการฝึกอบรมใน ROOTS Corpus ซึ่งครอบคลุมภาษาธรรมชาติ 46 ภาษา และภาษาโปรแกรม 13 ภาษา โดยมีการนำเสนอภาษาที่ด้อยโอกาส เช่น ภาษาแอฟริกันและเอเชียใต้หลายภาษา การฝึกอบรมดำเนินไปเป็นเวลาหลายเดือนบนซูเปอร์คอมพิวเตอร์ Jean Zay ที่ได้รับทุนสนับสนุนจากสาธารณะในฝรั่งเศส โดยใช้ GPU ประมาณ 384 ตัว BLOOM ได้รับการเผยแพร่ภายใต้ Responsible AI License พร้อมด้วยเอกสารฉบับสมบูรณ์เกี่ยวกับข้อมูล การฝึกอบรม และการใช้งานตามวัตถุประสงค์ ซึ่งแตกต่างอย่างมากกับการพัฒนาแบบปิดของโมเดลที่เทียบเคียงได้
ข้อมูลเชิงลึกทางเทคนิค
BLOOM เป็นหม้อแปลงเฉพาะตัวถอดรหัสที่มีขนาดใกล้เคียงกับ GPT-3 โดยใช้การฝังตำแหน่ง ALiBi แทนเวกเตอร์ตำแหน่งที่เรียนรู้ ซึ่งช่วยคาดการณ์ลำดับที่ยาวกว่าที่เห็นในการฝึก นอกจากนี้ยังใช้การปรับมาตรฐานเลเยอร์แบบฝังซึ่งปรับปรุงความเสถียรในการฝึกอบรมในวงกว้าง คลังข้อมูล ROOTS หลายภาษาได้รับการรวบรวมและจัดทำเอกสารอย่างระมัดระวัง เพื่อให้การผสมผสานภาษาและแหล่งข้อมูลมีความโปร่งใสและตรวจสอบได้ ซึ่งเป็นการจงใจออกจากชุดข้อมูลที่คัดลอกมาอย่างทึบแสง
ผลกระทบเชิงกลยุทธ์
กลยุทธ์ของผู้ขาย
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
ต้นทุนและงบประมาณ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ความเสี่ยงและความปลอดภัย
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
อนาคตของ BigScience และโมเดล BLOOM
BigScience แสดงให้เห็นว่า AI ขนาดใหญ่ที่มีการควบคุมอย่างเปิดเผยนั้นเป็นไปได้ และแบบจำลองดังกล่าวมีอิทธิพลต่อการเปิดตัวรุ่นเปิดในภายหลังและการผลักดันเพื่อความโปร่งใสในวงกว้างมากขึ้น การทำงานหลายภาษาในอนาคตมีแนวโน้มที่จะต่อยอดบทเรียนในเอกสารข้อมูลและการครอบคลุมภาษาที่ครอบคลุม ในขณะที่โมเดลที่ใหม่กว่าและมีประสิทธิภาพมากกว่านั้นเหนือกว่า BLOOM ในด้านความสามารถดิบ มรดกที่ยั่งยืนคือบรรทัดฐานของการเผยแพร่การ์ดโมเดล คำชี้แจงข้อมูล และใบอนุญาตที่รับผิดชอบ บวกกับการพิสูจน์ว่าคอมพิวเตอร์สาธารณะสามารถฝึกโมเดลระดับแนวหน้าได้
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างและการเติมข้อความในภาษาต่างๆ มากมาย รวมถึงภาษาที่โมเดลเชิงพาณิชย์ไม่รองรับด้วย
ทำหน้าที่เป็นพื้นฐานการวิจัยแบบเปิดสำหรับการศึกษาอคติ การถ่ายโอนหลายภาษา และพฤติกรรมการปรับขนาด
การปรับแต่งอย่างละเอียดในรูปแบบเฉพาะงานหรือตามคำสั่ง เช่น BLOOMZ สำหรับชุมชนที่ไม่ใช่ภาษาอังกฤษ
จัดทำแบบจำลองที่มีเอกสารครบถ้วนสำหรับนักวิชาการที่กำลังศึกษาแหล่งที่มาของข้อมูลการฝึกอบรมและการออกใบอนุญาต AI ที่มีความรับผิดชอบ
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
โมเดลโค้ดบริบทยาว Magic AI
คำถามที่พบบ่อย
What is BigScience and the BLOOM Model?
BigScience เป็นความร่วมมือด้านการวิจัยแบบเปิดตลอดทั้งปีของนักวิจัยมากกว่า 1,000 คน ซึ่งผลิต BLOOM ซึ่งเป็นหนึ่งในโมเดลภาษาขนาดใหญ่ที่เผยแพร่อย่างเปิดเผยหลายภาษาอย่างแท้จริงกลุ่มแรกๆ สิ่งสำคัญคือเป็นจุดเด่นของ AI ที่โปร่งใสและขับเคลื่อนโดยชุมชนซึ่งสร้างขึ้นนอก Big Tech
อะไรคือเป้าหมายหลักที่โดดเด่นของโมเดล BLOOM เมื่อเปรียบเทียบกับโมเดลที่มีขนาดใกล้เคียงกันในยุคนั้น
BLOOM ได้รับการออกแบบให้มีหลายภาษาอย่างแท้จริง และเผยแพร่อย่างเปิดเผยพร้อมเอกสารฉบับเต็ม ซึ่งแตกต่างจากรุ่นปิดที่มีขนาดใกล้เคียงกัน
BLOOM มีพารามิเตอร์ประมาณกี่ตัว
BLOOM เป็นโมเดลที่มีพารามิเตอร์ 1.76 แสนล้านพารามิเตอร์ ซึ่งอยู่ในระดับใกล้เคียงกับ GPT-3
BLOOM ได้รับการฝึกภาษาธรรมชาติกี่ภาษา?
คลังข้อมูลการฝึกอบรม ROOTS ของ BLOOM ครอบคลุมภาษาธรรมชาติ 46 ภาษา และภาษาโปรแกรม 13 ภาษา
องค์กรใดเป็นผู้ประสานงานความร่วมมือ BigScience
Hugging Face ประสานงานกับ BigScience ซึ่งเป็นเวิร์กช็อปที่มีนักวิจัยอาสาสมัครมากกว่า 1,000 คน
BLOOM ได้รับการฝึกอบรมที่ไหน?
BLOOM ได้รับการฝึกอบรมเกี่ยวกับซูเปอร์คอมพิวเตอร์ Jean Zay ในฝรั่งเศส ซึ่งแสดงให้เห็นว่าการประมวลผลสาธารณะสามารถฝึกอบรมแบบจำลองระดับแนวหน้าได้