คู่มือบริษัท
ServiceNow และ StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
เจาะลึก
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
การใช้งานจริงในโลกแห่งความเป็นจริง
ขับเคลื่อนคำแนะนำในการเติมข้อความอัตโนมัติและการเติมโค้ดให้สมบูรณ์ภายในปลั๊กอิน IDE และส่วนขยายตัวแก้ไข
การสร้างฟังก์ชันสำเร็จรูป การทดสอบหน่วย และเอกสารจากความคิดเห็นที่เป็นภาษาธรรมชาติ
การแปลหรือการปรับโครงสร้างโค้ดระหว่างภาษาการเขียนโปรแกรมภายในโค้ดเบสขององค์กร
ทำหน้าที่เป็นผู้ช่วยเขียนโค้ดที่โฮสต์ได้เองสำหรับองค์กรที่ไม่สามารถส่งโค้ดที่เป็นกรรมสิทธิ์ไปยัง API ของระบบคลาวด์แบบปิด
อนาคตของ ServiceNow และ StarCoder
โมเดลโค้ดกำลังเคลื่อนไปสู่เวิร์กโฟลว์เอเจนต์ ซึ่งไม่เพียงแต่เติมข้อความอัตโนมัติเท่านั้น แต่ยังวางแผน รันการทดสอบ และแก้ไขเอาต์พุตของตัวเองอีกด้วย StarCoder2 ซึ่งได้รับการฝึกฝนบนชุดข้อมูล Stack v2 ขนาดใหญ่ที่สร้างขึ้นด้วย Software Heritage ชี้ให้เห็นถึงความครอบคลุมของภาษาที่กว้างขึ้นและแหล่งที่มาของข้อมูลที่ดีขึ้น คาดหวังการเน้นอย่างต่อเนื่องเกี่ยวกับข้อมูลการฝึกอบรมที่โปร่งใส กลไกการเลือกไม่รับ และความชัดเจนในการอนุญาตให้ใช้สิทธิ์ เนื่องจากการตรวจสอบทางกฎหมายของโมเดลที่ได้รับการฝึกอบรมด้วยโค้ดเพิ่มมากขึ้น บวกกับการผสานรวมที่เข้มงวดมากขึ้นในแพลตฟอร์มนักพัฒนาระดับองค์กร
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- กลยุทธ์ของผู้ขาย. โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
- ต้นทุนและงบประมาณ. ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
- ความเสี่ยงและความปลอดภัย. สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
ระวัง
- การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
- การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
- การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
ขั้นตอนต่อไป
- ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
- ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
- รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
- ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the ServiceNow and StarCoder quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
ServiceNow และ StarCoder คืออะไร
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
มี 2 องค์กรไหนร่วมเป็นผู้นำโครงการ BigCode ที่ผลิต StarCoder?
BigCode เป็นความร่วมมือที่นำโดย ServiceNow Research และ Hugging Face เพื่อสร้างโมเดลโค้ดที่เปิดกว้างและได้รับการพัฒนาอย่างมีความรับผิดชอบ
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
เทคนิคการฝึกอบรมใดที่ช่วยให้ StarCoder กรอกโค้ดโดยใช้บริบททั้งสองด้านของเคอร์เซอร์ได้
การฝึกอบรมแบบเติมตรงกลางจะจัดลำดับเอกสารใหม่ เพื่อให้โมเดลเรียนรู้ที่จะสร้างช่วงที่ขาดหายไปตามบริบทก่อนหน้าและถัดไป
รุ่นเรือธง StarCoderBase มีขนาดใหญ่ประมาณเท่าใด
StarCoderBase มีพารามิเตอร์ประมาณ 15.5 พันล้านพารามิเตอร์ ซึ่งมีขนาดเล็กตามมาตรฐานชายแดน แต่แข็งแกร่งสำหรับขนาดในงานเขียนโค้ด
StarCoder ใช้การปรับความสนใจแบบใดเพื่อลดหน่วยความจำและเร่งการอนุมาน
StarCoder ใช้ความสนใจแบบหลายแบบสอบถาม แบ่งปันคีย์และการคาดการณ์ค่าข้ามส่วนหัวเพื่อลดหน่วยความจำและเร่งการอนุมานบริบทแบบยาว
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้