BigScience και το μοντέλο BLOOM
Το BigScience ήταν μια ετήσια ανοιχτή ερευνητική συνεργασία περισσότερων από 1.000 ερευνητές που παρήγαγε το BLOOM, ένα από τα πρώτα πραγματικά πολύγλωσσα, ανοιχτά μοντέλα μεγάλων γλωσσών.
Επισκόπηση
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Βαθιά κατάδυση
Το BigScience ήταν ένα ερευνητικό εργαστήριο ενός έτους που διήρκεσε από το 2021 έως το 2022, το οποίο συντονίστηκε από το Hugging Face και συγκέντρωσε περισσότερους από 1.000 εθελοντές ερευνητές από περισσότερες από 60 χώρες και 250 ιδρύματα. Η επικεφαλίδα του, που κυκλοφόρησε τον Ιούλιο του 2022, ήταν το BLOOM, ένα αυτοπαλινδρομικό μοντέλο γλώσσας 176 δισεκατομμυρίων παραμέτρων. Το BLOOM ήταν σκόπιμα πολύγλωσσο, εκπαιδεύτηκε στο σώμα ROOTS που κάλυπτε 46 φυσικές γλώσσες και 13 γλώσσες προγραμματισμού, με ισχυρή αντιπροσώπευση γλωσσών που υποεκπροσωπούνται, όπως αρκετές αφρικανικές και νοτιοασιατικές γλώσσες. Η εκπαίδευση διεξήχθη για αρκετούς μήνες στον κρατικά χρηματοδοτούμενο υπερυπολογιστή Jean Zay στη Γαλλία, χρησιμοποιώντας περίπου 384 GPU. Το BLOOM κυκλοφόρησε υπό την Άδεια Υπεύθυνης Τεχνητής Νοημοσύνης με πλήρη τεκμηρίωση των δεδομένων, της εκπαίδευσης και των προβλεπόμενων χρήσεων, σε αντίθεση με την κλειστή ανάπτυξη συγκρίσιμων μοντέλων.
Τεχνική διορατικότητα
Το BLOOM είναι ένας μετασχηματιστής μόνο με αποκωδικοποιητή παρόμοιας κλίμακας με το GPT-3, που χρησιμοποιεί ενσωματώσεις θέσης ALiBi αντί για μαθημένα διανύσματα θέσης, κάτι που τον βοηθά να επεκταθεί σε μεγαλύτερες ακολουθίες από ό,τι φαίνεται στην εκπαίδευση. Εφαρμόζει επίσης μια κανονικοποίηση στρώματος ενσωμάτωσης που βελτίωσε τη σταθερότητα της προπόνησης σε κλίμακα. Το πολύγλωσσο σώμα ROOTS συναρμολογήθηκε προσεκτικά και τεκμηριώθηκε, έτσι ώστε ο συνδυασμός γλωσσών και οι πηγές δεδομένων να ήταν διαφανείς και ελεγχόμενες, μια σκόπιμη απόκλιση από τα αδιαφανή σύνολα δεδομένων απόξεσης.
Στρατηγικός αντίκτυπος
Στρατηγική προμηθευτή
Οι χάρτες πορείας προμηθευτών επηρεάζουν τα χαρακτηριστικά που μπορεί να δημιουργήσει η ομάδα σας στη συνέχεια.
Κόστος και προϋπολογισμός
Οι εμπορικοί όροι και οι επιλογές ανάπτυξης επηρεάζουν το μακροπρόθεσμο κόστος και τον κίνδυνο.
Κίνδυνος και ασφάλεια
Τα κίνητρα της εταιρείας διαμορφώνουν τις προεπιλογές προϊόντων, τη στάση ασφαλείας και τη διαφάνεια.
Το μέλλον της BigScience και το μοντέλο BLOOM
Το BigScience έδειξε ότι η μεγάλης κλίμακας, ανοιχτά διοικούμενη τεχνητή νοημοσύνη είναι δυνατή και το μοντέλο της επηρέασε τις μεταγενέστερες ανοιχτές εκδόσεις και την ευρύτερη ώθηση για διαφάνεια. Η μελλοντική πολύγλωσση εργασία πιθανότατα θα βασιστεί στα διδάγματα της τεκμηρίωσης δεδομένων και της γλωσσικής κάλυψης χωρίς αποκλεισμούς, ενώ τα νεότερα, πιο αποτελεσματικά μοντέλα έχουν ξεπεράσει το BLOOM ως προς την ακατέργαστη ικανότητα. Η μόνιμη κληρονομιά του είναι ο κανόνας της δημοσίευσης καρτών μοντέλων, δηλώσεων δεδομένων και υπεύθυνων αδειών, καθώς και η απόδειξη ότι ο δημόσιος υπολογιστής μπορεί να εκπαιδεύσει μοντέλα συνοριακής κλίμακας.
Υλοποίηση σε πραγματικό κόσμο
Δημιουργία και συμπλήρωση κειμένου σε δεκάδες γλώσσες, συμπεριλαμβανομένων εκείνων που δεν εξυπηρετούνται από εμπορικά μοντέλα
Χρησιμεύει ως ανοιχτή βάση έρευνας για τη μελέτη της μεροληψίας, της πολυγλωσσικής μεταφοράς και της συμπεριφοράς κλιμάκωσης
Βελτιστοποίηση σε παραλλαγές για συγκεκριμένες εργασίες ή που ακολουθούν οδηγίες, όπως το BLOOMZ για μη αγγλικές κοινότητες
Παροχή ενός πλήρως τεκμηριωμένου μοντέλου για ακαδημαϊκούς που μελετούν την προέλευση των δεδομένων εκπαίδευσης και την υπεύθυνη αδειοδότηση AI
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι ανακοινώσεις κυκλοφορίας ενδέχεται να ξεπεράσουν τη σταθερότητα στις πραγματικές ροές εργασιών παραγωγής.
Η τιμολόγηση API ή οι αλλαγές πολιτικής μπορούν να σπάσουν τις υποθέσεις από τη μια μέρα στην άλλη.
Η εξάρτηση από έναν προμηθευτή αυξάνει το κόστος κλειδώματος και μετεγκατάστασης.
Οδικός Χάρτης Εφαρμογής
Αξιολογήστε τους παρόχους χρησιμοποιώντας τις δικές σας εργασίες και σύνολα δεδομένων.
Ελέγξτε το απόρρητο, την ασφάλεια και τους νομικούς όρους πριν από την ενσωμάτωση.
Διατηρήστε ένα εναλλακτικό σχέδιο σε μοντέλα ή προμηθευτές.
Παρακολουθήστε τις σημειώσεις έκδοσης, ώστε οι αλλαγές στον οδικό χάρτη να μην εκπλήσσουν τις ομάδες.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Μοντέλα Κώδικα Μεγάλου Περιεχομένου Magic AI
Συχνές ερωτήσεις
What is BigScience and the BLOOM Model?
Το BigScience ήταν μια ετήσια ανοιχτή ερευνητική συνεργασία περισσότερων από 1.000 ερευνητές που παρήγαγε το BLOOM, ένα από τα πρώτα πραγματικά πολύγλωσσα, ανοιχτά μοντέλα μεγάλων γλωσσών. Σημασία έχει ως ορόσημο στη διαφανή, τεχνητή νοημοσύνη με γνώμονα την κοινότητα που έχει κατασκευαστεί εκτός της Big Tech.
Ποιος ήταν ο πρωταρχικός στόχος του μοντέλου BLOOM σε σύγκριση με μοντέλα παρόμοιου μεγέθους της εποχής του;
Το BLOOM σχεδιάστηκε για να είναι πραγματικά πολύγλωσσο και κυκλοφόρησε ανοιχτά με πλήρη τεκμηρίωση, σε αντίθεση με κλειστά μοντέλα παρόμοιας κλίμακας.
Πόσες περίπου παραμέτρους έχει το BLOOM;
Το BLOOM είναι ένα μοντέλο 176 δισεκατομμυρίων παραμέτρων, που το τοποθετεί σε παρόμοια κλίμακα με το GPT-3.
Πόσες φυσικές γλώσσες εκπαιδεύτηκε να χειρίζεται ο BLOOM;
Το εκπαιδευτικό σώμα του BLOOM's ROOTS κάλυψε 46 φυσικές γλώσσες συν 13 γλώσσες προγραμματισμού.
Ποιος οργανισμός συντόνισε τη συνεργασία του BigScience;
Το Hugging Face συντόνισε το BigScience, ένα εργαστήριο με περισσότερους από 1.000 εθελοντές ερευνητές.
Πού εκπαιδεύτηκε ο BLOOM;
Ο BLOOM εκπαιδεύτηκε στον υπερυπολογιστή Jean Zay στη Γαλλία, αποδεικνύοντας ότι ο δημόσιος υπολογιστής θα μπορούσε να εκπαιδεύσει ένα μοντέλο συνοριακής κλίμακας.