ServiceNow และ StarCoder
StarCoder เป็นโมเดลภาษาเปิดขนาดใหญ่สำหรับโค้ด สร้างขึ้นโดย ServiceNow Research และ Hugging Face ผ่านโปรเจ็กต์ BigCode
ภาพรวม
เป็นเรื่องสำคัญเนื่องจากได้นำผู้ช่วยเขียนโค้ดที่ได้รับใบอนุญาตและผ่านการฝึกอบรมอย่างโปร่งใสมาสู่สาขาที่มีโมเดลปิดเป็นหลัก
เจาะลึก
StarCoder เป็นตระกูลโมเดลการสร้างโค้ดที่เปิดตัวในเดือนพฤษภาคม 2566 โดย BigCode ซึ่งเป็นความร่วมมือที่นำโดย ServiceNow Research และ Hugging Face StarCoderBase ซึ่งเป็นเรือธงนั้นเป็นโมเดลที่มีพารามิเตอร์ 15.5 พันล้านซึ่งได้รับการฝึกฝนบนโทเค็นประมาณหนึ่งล้านล้านโทเค็นที่ดึงมาจาก The Stack ซึ่งเป็นชุดข้อมูลขนาดใหญ่ของซอร์สโค้ดที่ได้รับใบอนุญาตซึ่งครอบคลุมภาษาการเขียนโปรแกรมมากกว่า 80 ภาษา คุณลักษณะที่แตกต่างที่สำคัญคือหน้าต่างบริบท 8,000 โทเค็นและการฝึกอบรมแบบ Fill-in-the-Middle ทำให้สามารถกรอกโค้ดได้ทั้งบรรทัดก่อนหน้าและบรรทัดถัดไป แทนที่จะคาดการณ์ไปข้างหน้าเท่านั้น BigCode เน้นย้ำถึงการกำกับดูแลข้อมูล โดยเผยแพร่ข้อมูลการฝึกอบรม เสนอเครื่องมือในการยกเลิกสำหรับนักพัฒนา และเผยแพร่โมเดลภายใต้ใบอนุญาต OpenRAIL-M ที่รับผิดชอบ StarCoder2 เปิดตัวในปี 2024 ขยายความครอบคลุมเป็นภาษาต่างๆ มากกว่า 600 ภาษา
ข้อมูลเชิงลึกทางเทคนิค
StarCoder ใช้ตัวแปลงเฉพาะตัวถอดรหัสเท่านั้นที่มีความสนใจแบบหลายแบบสอบถาม ซึ่งแบ่งปันการคาดการณ์คีย์และค่าในส่วนหัวของความสนใจ เพื่อลดการใช้หน่วยความจำและเร่งการอนุมานในบริบทที่มีความยาว ได้รับการฝึกฝนโดยใช้ Fill-in-the-Middle ซึ่งเอกสารจะถูกแบ่งแบบสุ่มและเรียงลำดับใหม่ เพื่อให้โมเดลเรียนรู้ที่จะสร้างสแปนที่ขาดหายไปโดยมีเงื่อนไขในโค้ดที่อยู่รอบข้าง ซึ่งทำให้เหมาะสมอย่างยิ่งกับการเติมข้อความอัตโนมัติของ IDE ซึ่งมีบริบทอยู่ทั้งสองด้านของเคอร์เซอร์
ผลกระทบเชิงกลยุทธ์
กลยุทธ์ของผู้ขาย
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
ต้นทุนและงบประมาณ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ความเสี่ยงและความปลอดภัย
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
อนาคตของ ServiceNow และ StarCoder
โมเดลโค้ดกำลังเคลื่อนไปสู่เวิร์กโฟลว์เอเจนต์ ซึ่งไม่เพียงแต่เติมข้อความอัตโนมัติเท่านั้น แต่ยังวางแผน รันการทดสอบ และแก้ไขเอาต์พุตของตัวเองอีกด้วย StarCoder2 ซึ่งได้รับการฝึกฝนบนชุดข้อมูล Stack v2 ขนาดใหญ่ที่สร้างขึ้นด้วย Software Heritage ชี้ให้เห็นถึงความครอบคลุมของภาษาที่กว้างขึ้นและแหล่งที่มาของข้อมูลที่ดีขึ้น คาดหวังการเน้นอย่างต่อเนื่องเกี่ยวกับข้อมูลการฝึกอบรมที่โปร่งใส กลไกการเลือกไม่รับ และความชัดเจนในการอนุญาตให้ใช้สิทธิ์ เนื่องจากการตรวจสอบทางกฎหมายของโมเดลที่ได้รับการฝึกอบรมด้วยโค้ดเพิ่มมากขึ้น บวกกับการผสานรวมที่เข้มงวดมากขึ้นในแพลตฟอร์มนักพัฒนาระดับองค์กร
การใช้งานจริงในโลกแห่งความเป็นจริง
ขับเคลื่อนคำแนะนำในการเติมข้อความอัตโนมัติและการเติมโค้ดให้สมบูรณ์ภายในปลั๊กอิน IDE และส่วนขยายตัวแก้ไข
การสร้างฟังก์ชันสำเร็จรูป การทดสอบหน่วย และเอกสารจากความคิดเห็นที่เป็นภาษาธรรมชาติ
การแปลหรือการปรับโครงสร้างโค้ดระหว่างภาษาการเขียนโปรแกรมภายในโค้ดเบสขององค์กร
ทำหน้าที่เป็นผู้ช่วยเขียนโค้ดที่โฮสต์ได้เองสำหรับองค์กรที่ไม่สามารถส่งโค้ดที่เป็นกรรมสิทธิ์ไปยัง API ของระบบคลาวด์แบบปิด
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
LAION และชุดข้อมูลแบบเปิด
คำถามที่พบบ่อย
ServiceNow และ StarCoder คืออะไร
StarCoder เป็นโมเดลภาษาเปิดขนาดใหญ่สำหรับโค้ด สร้างขึ้นโดย ServiceNow Research และ Hugging Face ผ่านโปรเจ็กต์ BigCode เป็นเรื่องสำคัญเนื่องจากได้นำผู้ช่วยเขียนโค้ดที่ได้รับใบอนุญาตและผ่านการฝึกอบรมอย่างโปร่งใสมาสู่สาขาที่มีโมเดลปิดเป็นหลัก
มี 2 องค์กรไหนร่วมเป็นผู้นำโครงการ BigCode ที่ผลิต StarCoder?
BigCode เป็นความร่วมมือที่นำโดย ServiceNow Research และ Hugging Face เพื่อสร้างโมเดลโค้ดที่เปิดกว้างและได้รับการพัฒนาอย่างมีความรับผิดชอบ
ชุดข้อมูลของซอร์สโค้ดที่ได้รับอนุญาตซึ่งใช้ในการฝึก StarCoder ชื่ออะไร
StarCoder ได้รับการฝึกอบรมเกี่ยวกับ The Stack ซึ่งเป็นคลังโค้ดขนาดใหญ่ที่ได้รับอนุญาตในกว่า 80 ภาษา
เทคนิคการฝึกอบรมใดที่ช่วยให้ StarCoder กรอกโค้ดโดยใช้บริบททั้งสองด้านของเคอร์เซอร์ได้
การฝึกอบรมแบบเติมตรงกลางจะจัดลำดับเอกสารใหม่ เพื่อให้โมเดลเรียนรู้ที่จะสร้างช่วงที่ขาดหายไปตามบริบทก่อนหน้าและถัดไป
รุ่นเรือธง StarCoderBase มีขนาดใหญ่ประมาณเท่าใด
StarCoderBase มีพารามิเตอร์ประมาณ 15.5 พันล้านพารามิเตอร์ ซึ่งมีขนาดเล็กตามมาตรฐานชายแดน แต่แข็งแกร่งสำหรับขนาดในงานเขียนโค้ด
StarCoder ใช้การปรับความสนใจแบบใดเพื่อลดหน่วยความจำและเร่งการอนุมาน
StarCoder ใช้ความสนใจแบบหลายแบบสอบถาม แบ่งปันคีย์และการคาดการณ์ค่าข้ามส่วนหัวเพื่อลดหน่วยความจำและเร่งการอนุมานบริบทแบบยาว