EleutherAI
Το EleutherAI είναι μια μη κερδοσκοπική ερευνητική ομάδα βάσης που πρωτοστάτησε σε μοντέλα ανοιχτού κώδικα μεγάλων γλωσσών όταν η συνοριακή τεχνητή νοημοσύνη ήταν κλειδωμένη πίσω από εταιρικούς τοίχους.
Επισκόπηση
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Βαθιά κατάδυση
Το EleutherAI ξεκίνησε τον Ιούλιο του 2020 ως μια κοινότητα Discord που οργανώθηκε από τους Connor Leahy, Sid Black και Leo Gao, με αρχικά στόχο να αντιγράψει το GPT-3 του OpenAI. Για να εκπαιδεύσουν τέτοια μοντέλα, κατασκεύασαν και κυκλοφόρησαν αρχικά το The Pile, ένα επιμελημένο σύνολο δεδομένων κειμένου 825 GB που έγινε ένα τυπικό ανοιχτό σώμα εκπαίδευσης. Στη συνέχεια κυκλοφόρησαν τα GPT-Neo, GPT-J-6B και το GPT-NeoX-20B 20 δισεκατομμυρίων παραμέτρων, από τα μεγαλύτερα ανοιχτά διαθέσιμα γλωσσικά μοντέλα της εποχής τους. Τα εργαλεία τους, συμπεριλαμβανομένης της βιβλιοθήκης εκπαίδευσης GPT-NeoX και του LM Evaluation Harness που χρησιμοποιούνται σε ολόκληρη τη βιομηχανία για συγκριτική αξιολόγηση, έγιναν υποδομές πάνω στις οποίες χτίστηκαν άλλοι. Το 2023 το EleutherAI επισημοποιήθηκε ως μη κερδοσκοπικό ερευνητικό ινστιτούτο, διευρύνοντας την ερμηνευτικότητα, την ευθυγράμμιση και την επιστήμη του πώς μαθαίνουν τα μοντέλα.
Τεχνική διορατικότητα
Τα μοντέλα της EleutherAI χρησιμοποιούν την αρχιτεκτονική του αποκωδικοποιητή μετασχηματιστή, αλλά τα GPT-J και GPT-NeoX εισήγαγαν πρακτικές επιλογές μηχανικής όπως το Rotary Position Embeddings (RoPE) για την κωδικοποίηση θέσεων διακριτικών και τα παράλληλα επίπεδα προσοχής-συν-τροφοδοσίας για εκπαίδευση ταχύτητας. Κυρίως, εκπαιδεύτηκαν σε TPU και GPU που δωρίστηκαν μέσω συνεργασιών όπως το TPU Research Cloud και το CoreWeave του Google, δείχνοντας ότι ο κατανεμημένος υπολογισμός που χρηματοδοτείται από χορηγούς θα μπορούσε να αντικαταστήσει ένα εταιρικό κέντρο δεδομένων όταν συνδυάζεται με ανοιχτό κώδικα.
Στρατηγικός αντίκτυπος
Στρατηγική προμηθευτή
Οι χάρτες πορείας προμηθευτών επηρεάζουν τα χαρακτηριστικά που μπορεί να δημιουργήσει η ομάδα σας στη συνέχεια.
Κόστος και προϋπολογισμός
Οι εμπορικοί όροι και οι επιλογές ανάπτυξης επηρεάζουν το μακροπρόθεσμο κόστος και τον κίνδυνο.
Κίνδυνος και ασφάλεια
Τα κίνητρα της εταιρείας διαμορφώνουν τις προεπιλογές προϊόντων, τη στάση ασφαλείας και τη διαφάνεια.
Το μέλλον του EleutherAI
Το EleutherAI μετατοπίζεται από έναν καθαρό αγώνα κλιμάκωσης μοντέλων προς την ερμηνευτικότητα, τη διαφάνεια των δεδομένων εκπαίδευσης και την αυστηρή αξιολόγηση, τομείς όπου η ανοιχτή επιστήμη είναι περισσότερο απαραίτητη. Αναμένετε να συνεχιστεί η εργασία για την κατανόηση του τι αντιπροσωπεύουν εσωτερικά τα μοντέλα, την απελευθέρωση καλά τεκμηριωμένων συνόλων δεδομένων και την υποστήριξη ανεξάρτητης έρευνας για την ασφάλεια. Καθώς τα συνοριακά εργαστήρια γίνονται πιο μυστικά, ο ρόλος του EleutherAI ως αντίβαρο δημοσίου συμφέροντος, που εκπαιδεύει την επόμενη γενιά ερευνητών, πιθανότατα έχει μεγαλύτερη σημασία από τον αριθμό παραμέτρων οποιουδήποτε μοντέλου που στέλνει.
Υλοποίηση σε πραγματικό κόσμο
Το σύνολο δεδομένων Pile χρησιμοποιείται από ερευνητές σε όλο τον κόσμο για την εκπαίδευση και τη μελέτη μοντέλων ανοιχτής γλώσσας με δυνατότητα αναπαραγωγής.
Τα GPT-J-6B και GPT-NeoX-20B αναπτύσσονται από νεοφυείς επιχειρήσεις και ακαδημαϊκούς ως δωρεάν εναλλακτικές λύσεις σε εμπορικά μοντέλα API.
Το LM Evaluation Harness είναι το τυπικό εργαλείο που χρησιμοποιούν πολλά εργαστήρια για τη συγκριτική αξιολόγηση της απόδοσης του μοντέλου σε εκατοντάδες εργασίες.
Ανεξάρτητοι ερευνητές ασφάλειας και ερμηνείας χρησιμοποιούν τα ανοιχτά βάρη του EleutherAI για να μελετήσουν εσωτερικά μοντέλα που κρύβονται κλειστά API.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι ανακοινώσεις κυκλοφορίας ενδέχεται να ξεπεράσουν τη σταθερότητα στις πραγματικές ροές εργασιών παραγωγής.
Η τιμολόγηση API ή οι αλλαγές πολιτικής μπορούν να σπάσουν τις υποθέσεις από τη μια μέρα στην άλλη.
Η εξάρτηση από έναν προμηθευτή αυξάνει το κόστος κλειδώματος και μετεγκατάστασης.
Οδικός Χάρτης Εφαρμογής
Αξιολογήστε τους παρόχους χρησιμοποιώντας τις δικές σας εργασίες και σύνολα δεδομένων.
Ελέγξτε το απόρρητο, την ασφάλεια και τους νομικούς όρους πριν από την ενσωμάτωση.
Διατηρήστε ένα εναλλακτικό σχέδιο σε μοντέλα ή προμηθευτές.
Παρακολουθήστε τις σημειώσεις έκδοσης, ώστε οι αλλαγές στον οδικό χάρτη να μην εκπλήσσουν τις ομάδες.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Βάρη & Προκαταλήψεις
Συχνές ερωτήσεις
What is EleutherAI?
Το EleutherAI είναι μια μη κερδοσκοπική ερευνητική ομάδα βάσης που πρωτοστάτησε σε μοντέλα ανοιχτού κώδικα μεγάλων γλωσσών όταν η συνοριακή τεχνητή νοημοσύνη ήταν κλειδωμένη πίσω από εταιρικούς τοίχους. Απέδειξε ότι μια εθελοντική κοινότητα θα μπορούσε να δημιουργήσει και να κυκλοφορήσει ελεύθερα μοντέλα που συναγωνίζονται τα κλειστά συστήματα, διαμορφώνοντας εκ νέου ποιος θα συμμετάσχει στην έρευνα τεχνητής νοημοσύνης.
Πώς ξεκίνησε αρχικά το EleutherAI το 2020;
Το EleutherAI ξεκίνησε ως μια άτυπη ομάδα εθελοντών Discord που οργανώθηκε για να αναπαραγάγει το τότε κλειστό GPT-3.
Τι είναι το «The Pile»;
Το The Pile είναι ένα μεγάλο, ποικιλόμορφο, ανοιχτά δημοσιευμένο σώμα κειμένου EleutherAI που δημιουργήθηκε για να εκπαιδεύει και να μελετά γλωσσικά μοντέλα.
Ποιο από αυτά είναι μοντέλο γλώσσας EleutherAI;
Το GPT-NeoX-20B είναι ένα από τα κορυφαία ανοιχτά μοντέλα της EleutherAI. τα άλλα προέρχονται από Google ή Meta.
Σε τι χρησιμοποιείται η ζώνη αξιολόγησης LM;
Το λουρί είναι ένα ευρέως διαδεδομένο ανοιχτό εργαλείο για τυποποιημένη αξιολόγηση μοντέλων γλώσσας σε εκατοντάδες σημεία αναφοράς.
Πώς απέκτησε η EleutherAI τον υπολογισμό για να εκπαιδεύσει μεγάλα μοντέλα από νωρίς;
Ελλείψει εταιρικού κέντρου δεδομένων, η EleutherAI βασίστηκε σε πόρους TPU και GPU που χορηγήθηκαν από χορηγούς για να εκπαιδεύσει τα μοντέλα της.