Έρευνα Nous
Το Nous Research είναι ένα εργαστήριο τεχνητής νοημοσύνης με γνώμονα την κοινότητα, γνωστό για τη βελτίωση των δημοφιλών ανοιχτών μοντέλων σε εξαιρετικά ικανούς, λιγότερο περιορισμένους βοηθούς και για την προώθηση της αποκεντρωμένης εκπαίδευσης.
Επισκόπηση
It shows how a small team plus an open-source community can compete on model quality without owning massive infrastructure.
Βαθιά κατάδυση
Η Nous Research έγινε γνωστός λαμβάνοντας μοντέλα ανοιχτής βάσης, ειδικά την οικογένεια Llama και το Mistral της Meta, και προσαρμόζοντάς τα στις ευρέως χρησιμοποιούμενες σειρές Hermes και Capybara. Τα μοντέλα OpenHermes και Nous Hermes έγιναν μερικά από τα καλύτερα μελωδία με τις περισσότερες λήψεις στο Hugging Face, τα οποία βραβεύτηκαν για την έντονη παρακολούθηση των οδηγιών και την έμφαση στην ικανότητα διεύθυνσης και όχι στη συμπεριφορά βαριάς άρνησης. Πέρα από την τελειοποίηση, ο Nous αντιμετώπισε ένα δύσκολο πρόβλημα: την κατανεμημένη προπόνηση. Η έρευνά τους DisTrO και ο βελτιστοποιητής DeMo στοχεύουν στη μείωση του εύρους ζώνης επικοινωνίας που απαιτείται μεταξύ των GPU και το δίκτυο Psyche διερευνά την εκπαίδευση μεγάλων μοντέλων σε γεωγραφικά διάσπαρτο, συνδεδεμένο στο Διαδίκτυο υλικό. Έχουν επίσης πειραματιστεί με μοντέλα που χρησιμοποιούν εργαλεία και επικεντρώνονται στη λογική, τοποθετώντας τους εαυτούς τους στα σύνορα της ανοιχτής, αποκεντρωμένης τεχνητής νοημοσύνης.
Τεχνική διορατικότητα
Τα περισσότερα μοντέλα της Nous δεν εκπαιδεύονται από την αρχή. εφαρμόζουν εποπτευόμενη βελτιστοποίηση και βελτιστοποίηση προτιμήσεων (όπως DPO) πάνω από τα ανοιχτά βάρη βάσης χρησιμοποιώντας προσεκτικά επιλεγμένα συνθετικά και ανθρώπινα σύνολα δεδομένων. Το έργο κατανεμημένης εκπαίδευσης επιτίθεται στο σημείο συμφόρησης του εύρους ζώνης: συνήθως οι GPU πρέπει να ανταλλάσσουν τεράστιες ενημερώσεις κλίσης σε κάθε βήμα. Το DisTrO/DeMo συμπιέζει και αποσυνδέει αυτές τις ενημερώσεις, ώστε οι κόμβοι να μπορούν να εκπαιδεύονται μαζί μέσω συνηθισμένων συνδέσεων Διαδικτύου αντί να απαιτείται μια στενά συνδεδεμένη διασύνδεση κέντρων δεδομένων.
Στρατηγικός αντίκτυπος
Στρατηγική προμηθευτή
Οι χάρτες πορείας προμηθευτών επηρεάζουν τα χαρακτηριστικά που μπορεί να δημιουργήσει η ομάδα σας στη συνέχεια.
Κόστος και προϋπολογισμός
Οι εμπορικοί όροι και οι επιλογές ανάπτυξης επηρεάζουν το μακροπρόθεσμο κόστος και τον κίνδυνο.
Κίνδυνος και ασφάλεια
Τα κίνητρα της εταιρείας διαμορφώνουν τις προεπιλογές προϊόντων, τη στάση ασφαλείας και τη διαφάνεια.
Το μέλλον της έρευνας Nous
Η Nous στοιχηματίζει ότι το μέλλον της ανοιχτής τεχνητής νοημοσύνης είναι αποκεντρωμένο, όπου ο υπολογισμός συγκεντρώνεται σε πολλούς ανεξάρτητους συνεισφέροντες αντί να συγκεντρώνεται σε μερικά συμπλέγματα υπερκλίμακας. Εάν οι μέθοδοι εκπαίδευσης χαμηλού εύρους ζώνης τους κλιμακωθούν, οι κοινότητες θα μπορούσαν να εκπαιδεύσουν συλλογικά μοντέλα συνοριακής κατηγορίας. Αναμένετε συνεχείς εκδόσεις ικανών ανοιχτών βοηθών, βαθύτερη επένδυση στο κατανεμημένο δίκτυο Psyche και μοντέλα προσανατολισμένα στη λογική. Η δουλειά τους θα μπορούσε να μειώσει ουσιαστικά το εμπόδιο στην εκπαίδευση μεγάλων μοντέλων εκτός μεγάλης τεχνολογίας.
Υλοποίηση σε πραγματικό κόσμο
Οι προγραμματιστές εκτελούν τοπικά μοντέλα Nous Hermes και OpenHermes για ιδιωτικούς, κατευθυνόμενους βοηθούς συνομιλίας χωρίς κόστος API.
Οι ερευνητές αναφέρουν τις μεθόδους DisTrO και DeMo του Nous κατά την εξερεύνηση της εκπαίδευσης κατανεμημένων μοντέλων με αποδοτικό εύρος ζώνης.
Οι χομπίστες και οι μικρές εταιρείες προσαρμόζονται στα δημοσιευμένα σύνολα δεδομένων του Nous για να δημιουργήσουν βοηθούς για συγκεκριμένους τομείς.
Το δίκτυο Psyche χρησιμοποιείται για να πειραματιστεί με μοντέλα εκπαίδευσης σε γεωγραφικά κατανεμημένες εθελοντικές GPU.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι ανακοινώσεις κυκλοφορίας ενδέχεται να ξεπεράσουν τη σταθερότητα στις πραγματικές ροές εργασιών παραγωγής.
Η τιμολόγηση API ή οι αλλαγές πολιτικής μπορούν να σπάσουν τις υποθέσεις από τη μια μέρα στην άλλη.
Η εξάρτηση από έναν προμηθευτή αυξάνει το κόστος κλειδώματος και μετεγκατάστασης.
Οδικός Χάρτης Εφαρμογής
Αξιολογήστε τους παρόχους χρησιμοποιώντας τις δικές σας εργασίες και σύνολα δεδομένων.
Ελέγξτε το απόρρητο, την ασφάλεια και τους νομικούς όρους πριν από την ενσωμάτωση.
Διατηρήστε ένα εναλλακτικό σχέδιο σε μοντέλα ή προμηθευτές.
Παρακολουθήστε τις σημειώσεις έκδοσης, ώστε οι αλλαγές στον οδικό χάρτη να μην εκπλήσσουν τις ομάδες.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nous Research quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Tongyi Lab και Qwen Research
Συχνές ερωτήσεις
What is Nous Research?
Το Nous Research είναι ένα εργαστήριο τεχνητής νοημοσύνης με γνώμονα την κοινότητα, γνωστό για τη βελτίωση των δημοφιλών ανοιχτών μοντέλων σε εξαιρετικά ικανούς, λιγότερο περιορισμένους βοηθούς και για την προώθηση της αποκεντρωμένης εκπαίδευσης. Δείχνει πώς μια μικρή ομάδα συν μια κοινότητα ανοιχτού κώδικα μπορούν να ανταγωνιστούν στην ποιότητα των μοντέλων χωρίς να διαθέτουν τεράστια υποδομή.
Για ποιο πράγμα είναι περισσότερο γνωστό το Nous Research στην πρώιμη άνοδό του;
Ο Nous κέρδισε την αναγνώριση με την προσαρμογή ανοιχτών μοντέλων όπως το Llama και το Mistral στη δημοφιλή οικογένεια Hermes.
Σε ποια βασικά μοντέλα έχει βελτιωθεί πιο συχνά το Nous;
Οι σειρές Hermes και Capybara της Nous είναι κατασκευασμένες σε μοντέλα ανοιχτής βάσης, ειδικά Llama και Mistral.
Ποιο πρόβλημα αντιμετωπίζουν τα έργα DisTrO και DeMo της Nous;
Το DisTrO και ο βελτιστοποιητής DeMo στοχεύουν στη μείωση του εύρους ζώνης μεταξύ GPU που απαιτείται συνήθως, επιτρέποντας την εκπαίδευση μέσω συνηθισμένων συνδέσεων Διαδικτύου.
Τι είναι το δίκτυο Psyche;
Το Psyche είναι το αποκεντρωμένο δίκτυο εκπαίδευσης του Nous που εξερευνά τον τρόπο συγκέντρωσης διάσπαρτων GPU για την εκπαίδευση μεγάλων μοντέλων.
Ποια τεχνική χρησιμοποιεί συνήθως η Nous για να ευθυγραμμίσει τα τελειοποιημένα μοντέλα της;
Το Nous εφαρμόζει εποπτευόμενη βελτιστοποίηση και βελτιστοποίηση προτιμήσεων πάνω από τα ανοιχτά βάρη βάσης χρησιμοποιώντας επιμελημένα σύνολα δεδομένων.