Συγχώνευση εξελικτικού μοντέλου Sakana AI
Το Sakana AI είναι ένα εργαστήριο με έδρα το Τόκιο που εφαρμόζει μεθόδους εμπνευσμένες από τη φύση στην τεχνητή νοημοσύνη, κυρίως χρησιμοποιώντας εξελικτικούς αλγόριθμους για τη συγχώνευση υπαρχόντων ανοιχτών μοντέλων σε νέα, καλύτερα.
Επισκόπηση
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
Βαθιά κατάδυση
Η Sakana AI ιδρύθηκε το 2023 από τον Llion Jones, συν-συγγραφέα της αρχικής εφημερίδας «Attention Is All You Need» Transformer, και τον David Ha, πρώην της Google Brain. Το όνομα σημαίνει «ψάρι» στα Ιαπωνικά, αντικατοπτρίζοντας μια φιλοσοφία εμπνευσμένη από τα σχολεία και τα σμήνη: πολλοί μικροί, συλλογικοί πράκτορες και όχι ένα γιγάντιο μοντέλο. Η πρωτοποριακή τεχνική του, Evolutionary Model Merging, χρησιμοποιεί την εξελικτική αναζήτηση για να ανακαλύψει πώς να συνδυάσει τα βάρη και τα επίπεδα πολλαπλών προεκπαιδευμένων μοντέλων ανοιχτού κώδικα. Ο αλγόριθμος εξερευνά χιλιάδες συνταγές συγχώνευσης, διατηρώντας συνδυασμούς που έχουν καλή βαθμολογία στις εργασίες-στόχους. Ο Sakana το χρησιμοποίησε για να δημιουργήσει ικανά ιαπωνικά και ιαπωνικά μαθηματικά και οπτικά μοντέλα συγχωνεύοντας υπάρχοντα μοντέλα, με ένα μικρό κλάσμα του κόστους εκπαίδευσης νέων. Η εταιρεία παρήγαγε επίσης το «AI Scientist», ένα σύστημα που προσπαθεί να αυτοματοποιήσει την ίδια την έρευνα.
Τεχνική διορατικότητα
Η συγχώνευση μοντέλων συνδυάζει τις παραμέτρους των χωριστά εκπαιδευμένων δικτύων. Το Sakana εξελίσσεται συγχωνεύεται σε δύο χώρους ταυτόχρονα: τον χώρο παραμέτρων (τρόπος στάθμισης και παρεμβολής των βαρών κάθε μοντέλου, επίπεδο προς επίπεδο) και τον χώρο ροής δεδομένων (ποια επίπεδα από ποια μοντέλα να στοιβάζονται και με ποια σειρά). Ένας εξελικτικός αλγόριθμος προτείνει υποψήφιες συνταγές, τις αξιολογεί σε ένα σημείο αναφοράς και επιλέγει και μεταλλάσσει τις καλύτερες, επαναλαμβανόμενες προς υβρίδια υψηλής απόδοσης χωρίς εκπαίδευση με βάση την κλίση.
Στρατηγικός αντίκτυπος
Στρατηγική προμηθευτή
Οι χάρτες πορείας προμηθευτών επηρεάζουν τα χαρακτηριστικά που μπορεί να δημιουργήσει η ομάδα σας στη συνέχεια.
Κόστος και προϋπολογισμός
Οι εμπορικοί όροι και οι επιλογές ανάπτυξης επηρεάζουν το μακροπρόθεσμο κόστος και τον κίνδυνο.
Κίνδυνος και ασφάλεια
Τα κίνητρα της εταιρείας διαμορφώνουν τις προεπιλογές προϊόντων, τη στάση ασφαλείας και τη διαφάνεια.
Το μέλλον της συγχώνευσης εξελικτικού μοντέλου Sakana AI
Η εξελικτική συγχώνευση υποδηλώνει ένα μέλλον όπου νέα ικανά μοντέλα συναρμολογούνται από μια αυξανόμενη βιβλιοθήκη ανοιχτών μοντέλων φθηνά, εκδημοκρατίζοντας την πρόσβαση πέρα από εργαστήρια με τεράστιους υπολογιστικούς προϋπολογισμούς. Σε συνδυασμό με το αυτοματοποιημένο «AI Scientist» της Sakana, το μακροπρόθεσμο όραμα είναι τα συστήματα AI που βοηθούν στην ανακάλυψη των δικών τους βελτιώσεων. Οι ανοιχτές ερωτήσεις περιλαμβάνουν την αποφυγή συγχωνευμένων μοντέλων που κληρονομούν σφάλματα ή προκαταλήψεις και εάν η εξελικτική αναζήτηση κλιμακώνει την απόδοση σε επίπεδο συνόρων και όχι κυρίως την εξειδίκευση των υπαρχόντων μοντέλων.
Υλοποίηση σε πραγματικό κόσμο
Δημιουργία ενός ισχυρού γλωσσικού μοντέλου ικανού για Ιαπωνικά με τη συγχώνευση ανοιχτών μοντέλων αγγλικών και ιαπωνικών χωρίς επανεκπαίδευση
Δημιουργία ιαπωνικού μαθηματικού συλλογιστικού μοντέλου εξελίσσοντας συνδυασμούς μοντέλων εξειδικευμένων στα μαθηματικά
Παραγωγή μοντέλου γλώσσας όρασης που χειρίζεται ιαπωνικό κείμενο σε εικόνες μέσω συγχώνευσης μεταξύ τομέων
Επιτρέποντας σε μικρότερους οργανισμούς να συναρμολογούν μοντέλα για συγκεκριμένες εργασίες φθηνά από ανοιχτά βάρη αντί για εκπαίδευση από την αρχή
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι ανακοινώσεις κυκλοφορίας ενδέχεται να ξεπεράσουν τη σταθερότητα στις πραγματικές ροές εργασιών παραγωγής.
Η τιμολόγηση API ή οι αλλαγές πολιτικής μπορούν να σπάσουν τις υποθέσεις από τη μια μέρα στην άλλη.
Η εξάρτηση από έναν προμηθευτή αυξάνει το κόστος κλειδώματος και μετεγκατάστασης.
Οδικός Χάρτης Εφαρμογής
Αξιολογήστε τους παρόχους χρησιμοποιώντας τις δικές σας εργασίες και σύνολα δεδομένων.
Ελέγξτε το απόρρητο, την ασφάλεια και τους νομικούς όρους πριν από την ενσωμάτωση.
Διατηρήστε ένα εναλλακτικό σχέδιο σε μοντέλα ή προμηθευτές.
Παρακολουθήστε τις σημειώσεις έκδοσης, ώστε οι αλλαγές στον οδικό χάρτη να μην εκπλήσσουν τις ομάδες.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Συγχώνευση μοντέλων
Συχνές ερωτήσεις
What is Sakana AI Evolutionary Model Merging?
Το Sakana AI είναι ένα εργαστήριο με έδρα το Τόκιο που εφαρμόζει μεθόδους εμπνευσμένες από τη φύση στην τεχνητή νοημοσύνη, κυρίως χρησιμοποιώντας εξελικτικούς αλγόριθμους για τη συγχώνευση υπαρχόντων ανοιχτών μοντέλων σε νέα, καλύτερα. Αντί να προπονείται από την αρχή, «αναπαράγει» μοντέλα συνδυάζοντας αυτόματα τις δυνάμεις τους.
Τι κάνει στην πραγματικότητα η συγχώνευση του εξελικτικού μοντέλου της Sakana AI;
Εξελίσσει συνταγές για το συνδυασμό βαρών και στρωμάτων πολλαπλών προεκπαιδευμένων ανοιχτών μοντέλων, αντί για εκ νέου εκπαίδευση.
Ποιος είναι ένας αξιόλογος συνιδρυτής του Sakana AI;
Ο Llion Jones, συν-συγγραφέας του «Attention Is All You Need», ίδρυσε τη Sakana μαζί με τον David Ha.
Τι σημαίνει και τι αντικατοπτρίζει το όνομα «Σακάνα»;
Sakana σημαίνει ψάρι. η εταιρεία ευνοεί πολλούς μικρούς συλλογικούς αντιπροσώπους έναντι ενός μονολιθικού μοντέλου.
Σε ποιους δύο χώρους συγχωνεύονται το μοντέλο Sakana evolves;
Ψάχνει τόσο τον τρόπο στάθμισης/ παρεμβολής παραμέτρων όσο και ποια επίπεδα να στοιβάζονται και με ποια σειρά.
Εκτός από τη συγχώνευση μοντέλων, ποιο φιλόδοξο σύστημα εισήγαγε η Sakana;
Ο Sakana κυκλοφόρησε το «AI Scientist», ένα σύστημα που προσπαθεί να αυτοματοποιήσει τμήματα της ίδιας της ερευνητικής διαδικασίας.