Badania Nousa
Nous Research to kierowane przez społeczność laboratorium sztucznej inteligencji, znane z dostrajania popularnych otwartych modeli w celu uzyskania wysoce zdolnych, mniej ograniczonych asystentów oraz z promowania zdecentralizowanych szkoleń.
Przegląd
It shows how a small team plus an open-source community can compete on model quality without owning massive infrastructure.
Głębokie nurkowanie
Firma Nous Research zyskała na znaczeniu dzięki wykorzystaniu modeli o otwartej podstawie, zwłaszcza rodziny Llama i Mistral firmy Meta, i dostrojeniu ich do powszechnie używanych serii Hermes i Capybara. Ich modele OpenHermes i Nous Hermes stały się jednymi z najczęściej pobieranych wersji na Hugging Face, cenione za ścisłe przestrzeganie instrukcji i nacisk na sterowność, a nie na ostrą odmowę. Oprócz dostrojenia Nous zajął się trudnym problemem: rozproszonym szkoleniem. Ich badania DiTrO i optymalizator DeMo mają na celu zmniejszenie przepustowości komunikacji potrzebnej między procesorami graficznymi, a sieć Psyche bada możliwość uczenia dużych modeli na rozproszonym geograficznie sprzęcie podłączonym do Internetu. Eksperymentowali także z modelami opartymi na narzędziach i rozumowaniu, plasując się na pograniczu otwartej, zdecentralizowanej sztucznej inteligencji.
Wgląd techniczny
Większość modeli Nousa nie jest szkolona od zera; stosują nadzorowane dostrajanie i optymalizację preferencji (np. DPO) w oparciu o otwarte wagi podstawowe, korzystając ze starannie dobranych zbiorów danych syntetycznych i ludzkich. Ich rozproszona praca szkoleniowa atakuje wąskie gardło przepustowości: zwykle procesory graficzne muszą wymieniać ogromne aktualizacje gradientów na każdym kroku. DisTrO/DeMo kompresuje i oddziela te aktualizacje, dzięki czemu węzły mogą wspólnie trenować za pośrednictwem zwykłych łączy internetowych, zamiast wymagać ściśle powiązanego połączenia centrum danych.
Wpływ strategiczny
Strategia dostawcy
Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
Koszt i budżet
Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
Ryzyko i bezpieczeństwo
Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Przyszłość badań w Nous
Nous obstawia, że przyszłość otwartej sztucznej inteligencji będzie zdecentralizowana, a obliczenia będą skupiane wśród wielu niezależnych autorów, a nie skupiane w kilku hiperskalowych klastrach. Jeśli ich metody szkoleniowe przy niskiej przepustowości zostaną skalowalne, społeczności będą mogły wspólnie szkolić pionierskie modele. Spodziewaj się ciągłych wydań zdolnych otwartych asystentów, głębszych inwestycji w rozproszoną sieć Psyche i modeli zorientowanych na rozumowanie. Ich praca może znacząco obniżyć barierę w szkoleniu dużych modeli poza dużymi technologiami.
Implementacja w świecie rzeczywistym
Programiści uruchamiają lokalnie modele Nous Hermes i OpenHermes dla prywatnych, sterowanych asystentów czatu bez kosztów API.
Badacze cytują metody DiTrO i DeMo firmy Nous, badając szkolenie w zakresie modelu rozproszonego efektywnego pod względem przepustowości.
Hobbyści i małe firmy dostosowują udostępnione zestawy danych Nousa do tworzenia asystentów specyficznych dla domeny.
Sieć Psyche służy do eksperymentowania z modelami szkoleniowymi na rozproszonych geograficznie ochotniczych procesorach graficznych.
Zagrożenia i poręcze
Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Plan wdrożenia
Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
Utrzymuj plan awaryjny dla różnych modeli i dostawców.
Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nous Research quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Laboratorium Tongyi i badania Qwen
Często zadawane pytania
What is Nous Research?
Nous Research to kierowane przez społeczność laboratorium sztucznej inteligencji, znane z dostrajania popularnych otwartych modeli w celu uzyskania wysoce zdolnych, mniej ograniczonych asystentów oraz z promowania zdecentralizowanych szkoleń. Pokazuje, jak mały zespół i społeczność open source mogą konkurować pod względem jakości modeli bez konieczności posiadania ogromnej infrastruktury.
Z czego najbardziej znana jest firma Nous Research na początku swojej kariery?
Nous zyskał uznanie dzięki dostrojeniu otwartych modeli, takich jak Llama i Mistral, do popularnej rodziny Hermes.
Które modele podstawowe Nous najczęściej dostraja?
Serie Hermes i Capybara firmy Nous zbudowane są na modelach z otwartą podstawą, zwłaszcza Lamie i Mistralu.
Jaki problem rozwiązują projekty DiTrO i DeMo firmy Nous?
Celem DisTrO i optymalizatora DeMo jest zmniejszenie normalnie wymaganej przepustowości między procesorami graficznymi, umożliwiając szkolenie za pośrednictwem zwykłych łączy internetowych.
Czym jest sieć Psyche?
Psyche to zdecentralizowana sieć szkoleniowa firmy Nous, badająca sposoby łączenia rozproszonych procesorów graficznych w celu uczenia dużych modeli.
Jakiej techniki zwykle używa Nous do wyrównywania swoich dopracowanych modeli?
Nous stosuje nadzorowane dostrajanie i optymalizację preferencji w oparciu o otwarte wagi podstawowe, korzystając z wyselekcjonowanych zbiorów danych.