Nous Recherche
Nous Research est un laboratoire d'IA communautaire connu pour affiner les modèles ouverts populaires en assistants hautement performants et moins restreints et pour promouvoir la formation décentralisée.
Aperçu
It shows how a small team plus an open-source community can compete on model quality without owning massive infrastructure.
Plongée profonde
Nous Research a pris de l'importance en prenant des modèles à base ouverte, en particulier la famille Llama et Mistral de Meta, et en les affinant dans les séries Hermes et Capybara, largement utilisées. Leurs modèles OpenHermes et Nous Hermes sont devenus parmi les mises au point les plus téléchargées sur Hugging Face, appréciées pour leur suivi rigoureux des instructions et l'accent mis sur la maniabilité plutôt que sur un comportement de refus important. Au-delà de la mise au point, Nous s’est attaqué à un problème difficile : la formation distribuée. Leurs recherches DisTrO et l'optimiseur DeMo visent à réduire la bande passante de communication nécessaire entre les GPU, et le réseau Psyche explore la formation de grands modèles sur du matériel connecté à Internet géographiquement dispersé. Ils ont également expérimenté des modèles d’utilisation d’outils et axés sur le raisonnement, se positionnant à la frontière de l’IA ouverte et décentralisée.
Aperçu technique
La plupart des modèles de Nous ne sont pas formés à partir de zéro ; ils appliquent un réglage fin supervisé et une optimisation des préférences (comme le DPO) en plus des pondérations de base ouvertes à l'aide d'ensembles de données synthétiques et humaines soigneusement sélectionnés. Leur travail de formation distribué s'attaque au goulot d'étranglement de la bande passante : normalement, les GPU doivent échanger d'énormes mises à jour de gradient à chaque étape. DisTrO/DeMo compresse et dissocie ces mises à jour afin que les nœuds puissent s'entraîner ensemble sur des liaisons Internet ordinaires plutôt que de nécessiter une interconnexion de centre de données étroitement couplée.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L’avenir de la recherche Nous
Nous parions que l’avenir de l’IA ouverte est décentralisé, où le calcul est regroupé entre de nombreux contributeurs indépendants plutôt que concentré dans quelques clusters hyperscale. Si leurs méthodes de formation à faible bande passante évoluaient, les communautés pourraient former collectivement des modèles de classe frontière. Attendez-vous à des versions continues d’assistants ouverts performants, à un investissement plus approfondi dans le réseau distribué Psyche et à des modèles orientés raisonnement. Leur travail pourrait considérablement réduire les obstacles à la formation de grands modèles en dehors des grandes technologies.
Mise en œuvre dans le monde réel
Les développeurs exécutent localement les modèles Nous Hermes et OpenHermes pour des assistants de discussion privés et orientables sans frais d'API.
Les chercheurs citent les méthodes DisTrO et DeMo de Nous lorsqu'ils explorent la formation de modèles distribués économes en bande passante.
Les amateurs et les petites entreprises affinent les ensembles de données publiés par Nous pour créer des assistants spécifiques à un domaine.
Le réseau Psyche est utilisé pour expérimenter des modèles de formation sur des GPU volontaires géographiquement répartis.
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nous Research quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Laboratoire Tongyi et recherche Qwen
Questions fréquemment posées
What is Nous Research?
Nous Research est un laboratoire d'IA communautaire connu pour affiner les modèles ouverts populaires en assistants hautement performants et moins restreints et pour promouvoir la formation décentralisée. Il montre comment une petite équipe et une communauté open source peuvent rivaliser sur la qualité des modèles sans posséder une infrastructure massive.
Qu’est-ce qui fait la renommée de Nous Research au début de son ascension ?
Nous avons gagné en reconnaissance en affinant des modèles ouverts comme Llama et Mistral dans la populaire famille Hermès.
Quels modèles de base Nous avons-nous le plus souvent peaufinés ?
Les séries Hermes et Capybara de Nous sont construites sur des modèles à base ouverte, notamment Llama et Mistral.
À quel problème les projets DisTrO et DeMo de Nous répondent-ils ?
DisTrO et l'optimiseur DeMo visent à réduire la bande passante inter-GPU normalement requise, permettant ainsi la formation sur des liaisons Internet ordinaires.
Qu'est-ce que le réseau Psyché ?
Psyche est le réseau de formation décentralisé de Nous explorant comment mettre en commun des GPU dispersés pour former de grands modèles.
Quelle technique Nous utilise-t-elle généralement pour aligner ses modèles affinés ?
Nous appliquons un réglage fin supervisé et une optimisation des préférences en plus des pondérations de base ouvertes à l'aide d'ensembles de données organisés.