ServiceNow και StarCoder
Το StarCoder είναι ένα ανοιχτό μοντέλο μεγάλης γλώσσας για κώδικα, που δημιουργήθηκε από την ServiceNow Research και το Hugging Face μέσω του έργου BigCode.
Επισκόπηση
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Βαθιά κατάδυση
Το StarCoder είναι μια οικογένεια μοντέλων παραγωγής κώδικα που κυκλοφόρησε τον Μάιο του 2023 από την BigCode, μια συνεργασία με την ServiceNow Research και το Hugging Face. Το κορυφαίο StarCoderBase είναι ένα μοντέλο 15,5 δισεκατομμυρίων παραμέτρων που εκπαιδεύεται σε περίπου ένα τρισεκατομμύριο μάρκες που προέρχονται από το The Stack, ένα μεγάλο σύνολο δεδομένων πηγαίου κώδικα με επιτρεπτή άδεια που εκτείνεται σε περισσότερες από 80 γλώσσες προγραμματισμού. Ένα βασικό χαρακτηριστικό γνώρισμα είναι το παράθυρο περιβάλλοντος με 8.000 διακριτικά και η εκπαίδευση Fill-in-the-Middle, επιτρέποντάς του να ολοκληρώσει τον κώδικα που δίνεται τόσο στις προηγούμενες όσο και στις επόμενες γραμμές αντί να προβλέπει μόνο προς τα εμπρός. Το BigCode έδωσε έμφαση στη διακυβέρνηση δεδομένων: δημοσίευσε τα δεδομένα εκπαίδευσης, πρόσφερε ένα εργαλείο εξαίρεσης για προγραμματιστές και κυκλοφόρησε το μοντέλο με την υπεύθυνη άδεια OpenRAIL-M. Το StarCoder2, που κυκλοφόρησε το 2024, επέκτεινε την κάλυψη σε περισσότερες από 600 γλώσσες.
Τεχνική διορατικότητα
Το StarCoder χρησιμοποιεί έναν μετασχηματιστή μόνο για αποκωδικοποιητή με προσοχή πολλαπλών ερωτημάτων, ο οποίος μοιράζεται προβολές κλειδιών και τιμών στις κεφαλές προσοχής για να συρρικνώσει τη χρήση της μνήμης και να επιταχύνει τα συμπεράσματα σε μεγάλα μήκη περιβάλλοντος. Εκπαιδεύτηκε με το Fill-in-the-Middle, όπου τα έγγραφα χωρίζονται τυχαία και αναδιατάσσονται, έτσι ώστε το μοντέλο να μάθει να δημιουργεί ένα διάστημα που λείπει ανάλογα με τον περιβάλλοντα κώδικα. Αυτό το καθιστά κατάλληλο για την αυτόματη συμπλήρωση IDE, όπου το πλαίσιο υπάρχει και στις δύο πλευρές του δρομέα.
Στρατηγικός αντίκτυπος
Στρατηγική προμηθευτή
Οι χάρτες πορείας προμηθευτών επηρεάζουν τα χαρακτηριστικά που μπορεί να δημιουργήσει η ομάδα σας στη συνέχεια.
Κόστος και προϋπολογισμός
Οι εμπορικοί όροι και οι επιλογές ανάπτυξης επηρεάζουν το μακροπρόθεσμο κόστος και τον κίνδυνο.
Κίνδυνος και ασφάλεια
Τα κίνητρα της εταιρείας διαμορφώνουν τις προεπιλογές προϊόντων, τη στάση ασφαλείας και τη διαφάνεια.
Το μέλλον του ServiceNow και του StarCoder
Τα μοντέλα κώδικα κινούνται προς τις ροές εργασίας agent όπου όχι μόνο συμπληρώνουν αυτόματα, αλλά σχεδιάζουν, εκτελούν δοκιμές και διορθώνουν το δικό τους αποτέλεσμα. Το StarCoder2, που εκπαιδεύεται στο μεγαλύτερο σύνολο δεδομένων Stack v2 που έχει δημιουργηθεί με Software Heritage, δείχνει προς ευρύτερη γλωσσική κάλυψη και καλύτερη προέλευση δεδομένων. Αναμένετε συνεχή έμφαση στα διαφανή δεδομένα εκπαίδευσης, τους μηχανισμούς εξαίρεσης και τη σαφήνεια αδειοδότησης καθώς αυξάνεται ο νομικός έλεγχος των μοντέλων που εκπαιδεύονται σε κώδικα, καθώς και η αυστηρότερη ενσωμάτωση σε πλατφόρμες προγραμματιστών επιχειρήσεων.
Υλοποίηση σε πραγματικό κόσμο
Ενίσχυση προτάσεων αυτόματης συμπλήρωσης και συμπλήρωσης κώδικα μέσα σε προσθήκες IDE και επεκτάσεις επεξεργασίας
Δημιουργία λειτουργιών boilerplate, δοκιμές μονάδων και εγγράφων από ένα σχόλιο φυσικής γλώσσας
Μετάφραση ή ανακατασκευή κώδικα μεταξύ γλωσσών προγραμματισμού μέσα σε μια εταιρική βάση κώδικα
Λειτουργεί ως αυτο-φιλοξενούμενος βοηθός κωδικοποίησης για οργανισμούς που δεν μπορούν να στείλουν αποκλειστικό κώδικα σε κλειστά API cloud
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι ανακοινώσεις κυκλοφορίας ενδέχεται να ξεπεράσουν τη σταθερότητα στις πραγματικές ροές εργασιών παραγωγής.
Η τιμολόγηση API ή οι αλλαγές πολιτικής μπορούν να σπάσουν τις υποθέσεις από τη μια μέρα στην άλλη.
Η εξάρτηση από έναν προμηθευτή αυξάνει το κόστος κλειδώματος και μετεγκατάστασης.
Οδικός Χάρτης Εφαρμογής
Αξιολογήστε τους παρόχους χρησιμοποιώντας τις δικές σας εργασίες και σύνολα δεδομένων.
Ελέγξτε το απόρρητο, την ασφάλεια και τους νομικούς όρους πριν από την ενσωμάτωση.
Διατηρήστε ένα εναλλακτικό σχέδιο σε μοντέλα ή προμηθευτές.
Παρακολουθήστε τις σημειώσεις έκδοσης, ώστε οι αλλαγές στον οδικό χάρτη να μην εκπλήσσουν τις ομάδες.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
LAION και Open Datasets
Συχνές ερωτήσεις
What is ServiceNow and StarCoder?
Το StarCoder είναι ένα ανοιχτό μοντέλο μεγάλης γλώσσας για κώδικα, που δημιουργήθηκε από την ServiceNow Research και το Hugging Face μέσω του έργου BigCode. Έχει σημασία γιατί έφερε έναν επιτρεπτικά αδειοδοτημένο, διαφανώς εκπαιδευμένο βοηθό κωδικοποίησης σε ένα πεδίο όπου κυριαρχούν κλειστά μοντέλα.
Ποιοι δύο οργανισμοί συνοδήγησαν το έργο BigCode που παρήγαγε το StarCoder;
Το BigCode ήταν μια συλλογική προσπάθεια με επικεφαλής την ServiceNow Research και το Hugging Face για τη δημιουργία ανοιχτών, υπεύθυνα αναπτυγμένων μοντέλων κώδικα.
Ποιο είναι το όνομα του συνόλου δεδομένων του πηγαίου κώδικα με επιτρεπτή άδεια που χρησιμοποιείται για την εκπαίδευση του StarCoder;
Το StarCoder εκπαιδεύτηκε στο The Stack, ένα μεγάλο σύνολο κωδικών με επιτρεπτή άδεια σε περισσότερες από 80 γλώσσες.
Ποια τεχνική εκπαίδευσης επιτρέπει στο StarCoder να ολοκληρώσει τον κώδικα χρησιμοποιώντας το πλαίσιο και στις δύο πλευρές του δρομέα;
Η εκπαίδευση Fill-in-the-Middle αναδιατάσσει τα έγγραφα, ώστε το μοντέλο να μάθει να δημιουργεί ένα διάστημα που λείπει, δεδομένου του προηγούμενου και του επόμενου περιβάλλοντος.
Πόσο μεγάλο είναι περίπου το εμβληματικό μοντέλο StarCoderBase;
Το StarCoderBase έχει περίπου 15,5 δισεκατομμύρια παραμέτρους, μέτριες για τα σύνορα πρότυπα, αλλά ισχυρές για το μέγεθός του στις εργασίες κώδικα.
Ποια βελτιστοποίηση προσοχής χρησιμοποιεί το StarCoder για να μειώσει τη μνήμη και να επιταχύνει τα συμπεράσματα;
Το StarCoder χρησιμοποιεί την προσοχή πολλών ερωτημάτων, μοιράζοντας προβολές κλειδιών και τιμών σε όλες τις κεφαλές για να μειώσει τη μνήμη και να επιταχύνει την εξαγωγή συμπερασμάτων μεγάλου πλαισίου.