ΕπόμενοΕπόμενος οδηγός
LAION και Open Datasets
Εταιρείες
ΟΔΗΓΟΣ Εταιρειών
ServiceNow και StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Βαθιά κατάδυση
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Υλοποίηση σε πραγματικό κόσμο
Ενίσχυση προτάσεων αυτόματης συμπλήρωσης και συμπλήρωσης κώδικα μέσα σε προσθήκες IDE και επεκτάσεις επεξεργασίας
Δημιουργία λειτουργιών boilerplate, δοκιμές μονάδων και εγγράφων από ένα σχόλιο φυσικής γλώσσας
Μετάφραση ή ανακατασκευή κώδικα μεταξύ γλωσσών προγραμματισμού μέσα σε μια εταιρική βάση κώδικα
Λειτουργεί ως αυτο-φιλοξενούμενος βοηθός κωδικοποίησης για οργανισμούς που δεν μπορούν να στείλουν αποκλειστικό κώδικα σε κλειστά API cloud
Το μέλλον του ServiceNow και του StarCoder
Τα μοντέλα κώδικα κινούνται προς τις ροές εργασίας agent όπου όχι μόνο συμπληρώνουν αυτόματα, αλλά σχεδιάζουν, εκτελούν δοκιμές και διορθώνουν το δικό τους αποτέλεσμα. Το StarCoder2, που εκπαιδεύεται στο μεγαλύτερο σύνολο δεδομένων Stack v2 που έχει δημιουργηθεί με Software Heritage, δείχνει προς ευρύτερη γλωσσική κάλυψη και καλύτερη προέλευση δεδομένων. Αναμένετε συνεχή έμφαση στα διαφανή δεδομένα εκπαίδευσης, τους μηχανισμούς εξαίρεσης και τη σαφήνεια αδειοδότησης καθώς αυξάνεται ο νομικός έλεγχος των μοντέλων που εκπαιδεύονται σε κώδικα, καθώς και η αυστηρότερη ενσωμάτωση σε πλατφόρμες προγραμματιστών επιχειρήσεων.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Στρατηγική προμηθευτή. Οι χάρτες πορείας προμηθευτών επηρεάζουν τα χαρακτηριστικά που μπορεί να δημιουργήσει η ομάδα σας στη συνέχεια.
- Κόστος και προϋπολογισμός. Οι εμπορικοί όροι και οι επιλογές ανάπτυξης επηρεάζουν το μακροπρόθεσμο κόστος και τον κίνδυνο.
- Κίνδυνος και ασφάλεια. Τα κίνητρα της εταιρείας διαμορφώνουν τις προεπιλογές προϊόντων, τη στάση ασφαλείας και τη διαφάνεια.
Προσέξτε
- Οι ανακοινώσεις κυκλοφορίας ενδέχεται να ξεπεράσουν τη σταθερότητα στις πραγματικές ροές εργασιών παραγωγής.
- Η τιμολόγηση API ή οι αλλαγές πολιτικής μπορούν να σπάσουν τις υποθέσεις από τη μια μέρα στην άλλη.
- Η εξάρτηση από έναν προμηθευτή αυξάνει το κόστος κλειδώματος και μετεγκατάστασης.
Επόμενα βήματα
- Αξιολογήστε τους παρόχους χρησιμοποιώντας τις δικές σας εργασίες και σύνολα δεδομένων.
- Ελέγξτε το απόρρητο, την ασφάλεια και τους νομικούς όρους πριν από την ενσωμάτωση.
- Διατηρήστε ένα εναλλακτικό σχέδιο σε μοντέλα ή προμηθευτές.
- Παρακολουθήστε τις σημειώσεις έκδοσης, ώστε οι αλλαγές στον οδικό χάρτη να μην εκπλήσσουν τις ομάδες.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the ServiceNow and StarCoder quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is ServiceNow and StarCoder?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Ποιοι δύο οργανισμοί συνοδήγησαν το έργο BigCode που παρήγαγε το StarCoder;
Το BigCode ήταν μια συλλογική προσπάθεια με επικεφαλής την ServiceNow Research και το Hugging Face για τη δημιουργία ανοιχτών, υπεύθυνα αναπτυγμένων μοντέλων κώδικα.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
Ποια τεχνική εκπαίδευσης επιτρέπει στο StarCoder να ολοκληρώσει τον κώδικα χρησιμοποιώντας το πλαίσιο και στις δύο πλευρές του δρομέα;
Η εκπαίδευση Fill-in-the-Middle αναδιατάσσει τα έγγραφα, ώστε το μοντέλο να μάθει να δημιουργεί ένα διάστημα που λείπει, δεδομένου του προηγούμενου και του επόμενου περιβάλλοντος.
Πόσο μεγάλο είναι περίπου το εμβληματικό μοντέλο StarCoderBase;
Το StarCoderBase έχει περίπου 15,5 δισεκατομμύρια παραμέτρους, μέτριες για τα σύνορα πρότυπα, αλλά ισχυρές για το μέγεθός του στις εργασίες κώδικα.
Ποια βελτιστοποίηση προσοχής χρησιμοποιεί το StarCoder για να μειώσει τη μνήμη και να επιταχύνει τα συμπεράσματα;
Το StarCoder χρησιμοποιεί την προσοχή πολλών ερωτημάτων, μοιράζοντας προβολές κλειδιών και τιμών σε όλες τις κεφαλές για να μειώσει τη μνήμη και να επιταχύνει την εξαγωγή συμπερασμάτων μεγάλου πλαισίου.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα