คู่มือบริษัท

ServiceNow และ StarCoder

The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ ServiceNow และ StarCoder
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.

เจาะลึก

The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.

การใช้งานจริงในโลกแห่งความเป็นจริง

ขับเคลื่อนคำแนะนำในการเติมข้อความอัตโนมัติและการเติมโค้ดให้สมบูรณ์ภายในปลั๊กอิน IDE และส่วนขยายตัวแก้ไข

การสร้างฟังก์ชันสำเร็จรูป การทดสอบหน่วย และเอกสารจากความคิดเห็นที่เป็นภาษาธรรมชาติ

การแปลหรือการปรับโครงสร้างโค้ดระหว่างภาษาการเขียนโปรแกรมภายในโค้ดเบสขององค์กร

ทำหน้าที่เป็นผู้ช่วยเขียนโค้ดที่โฮสต์ได้เองสำหรับองค์กรที่ไม่สามารถส่งโค้ดที่เป็นกรรมสิทธิ์ไปยัง API ของระบบคลาวด์แบบปิด

อนาคตของ ServiceNow และ StarCoder

โมเดลโค้ดกำลังเคลื่อนไปสู่เวิร์กโฟลว์เอเจนต์ ซึ่งไม่เพียงแต่เติมข้อความอัตโนมัติเท่านั้น แต่ยังวางแผน รันการทดสอบ และแก้ไขเอาต์พุตของตัวเองอีกด้วย StarCoder2 ซึ่งได้รับการฝึกฝนบนชุดข้อมูล Stack v2 ขนาดใหญ่ที่สร้างขึ้นด้วย Software Heritage ชี้ให้เห็นถึงความครอบคลุมของภาษาที่กว้างขึ้นและแหล่งที่มาของข้อมูลที่ดีขึ้น คาดหวังการเน้นอย่างต่อเนื่องเกี่ยวกับข้อมูลการฝึกอบรมที่โปร่งใส กลไกการเลือกไม่รับ และความชัดเจนในการอนุญาตให้ใช้สิทธิ์ เนื่องจากการตรวจสอบทางกฎหมายของโมเดลที่ได้รับการฝึกอบรมด้วยโค้ดเพิ่มมากขึ้น บวกกับการผสานรวมที่เข้มงวดมากขึ้นในแพลตฟอร์มนักพัฒนาระดับองค์กร

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • กลยุทธ์ของผู้ขาย. โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
  • ต้นทุนและงบประมาณ. ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
  • ความเสี่ยงและความปลอดภัย. สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง

ระวัง

  • การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
  • การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
  • การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล

ขั้นตอนต่อไป

  1. ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
  2. ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
  3. รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
  4. ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the ServiceNow and StarCoder quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

ServiceNow และ StarCoder คืออะไร

The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.

มี 2 ​​องค์กรไหนร่วมเป็นผู้นำโครงการ BigCode ที่ผลิต StarCoder?

BigCode เป็นความร่วมมือที่นำโดย ServiceNow Research และ Hugging Face เพื่อสร้างโมเดลโค้ดที่เปิดกว้างและได้รับการพัฒนาอย่างมีความรับผิดชอบ

Which dataset was used for StarCoderBase pretraining?

StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.

เทคนิคการฝึกอบรมใดที่ช่วยให้ StarCoder กรอกโค้ดโดยใช้บริบททั้งสองด้านของเคอร์เซอร์ได้

การฝึกอบรมแบบเติมตรงกลางจะจัดลำดับเอกสารใหม่ เพื่อให้โมเดลเรียนรู้ที่จะสร้างช่วงที่ขาดหายไปตามบริบทก่อนหน้าและถัดไป

รุ่นเรือธง StarCoderBase มีขนาดใหญ่ประมาณเท่าใด

StarCoderBase มีพารามิเตอร์ประมาณ 15.5 พันล้านพารามิเตอร์ ซึ่งมีขนาดเล็กตามมาตรฐานชายแดน แต่แข็งแกร่งสำหรับขนาดในงานเขียนโค้ด

StarCoder ใช้การปรับความสนใจแบบใดเพื่อลดหน่วยความจำและเร่งการอนุมาน

StarCoder ใช้ความสนใจแบบหลายแบบสอบถาม แบ่งปันคีย์และการคาดการณ์ค่าข้ามส่วนหัวเพื่อลดหน่วยความจำและเร่งการอนุมานบริบทแบบยาว

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →