Nous Research
A Nous Research egy közösségvezérelt mesterségesintelligencia-labor, amely a népszerű nyílt modellek nagy teljesítményű, kevésbé korlátozott asszisztensekké történő finomhangolásáról és a decentralizált képzés előmozdításáról ismert.
Áttekintés
It shows how a small team plus an open-source community can compete on model quality without owning massive infrastructure.
Mély merülés
A Nous Research a nyílt alapmodellek, különösen a Meta Llama család és a Mistral modellek előtérbe helyezése révén a széles körben használt Hermes és Capybara sorozatok finomhangolásával vált ismertté. OpenHermes és Nous Hermes modelljeik a Hugging Face egyik legtöbbet letöltött finomhangulatává váltak, amelyeket az erős utasítások követéséért és a kormányozhatóságra helyezett hangsúlyért, nem pedig az erős elutasító viselkedésért értékeltek. A finomhangoláson túl Nous egy nehéz problémával is megküzdött: az elosztott képzéssel. DisTrO-kutatásuk és a DeMo-optimalizáló célja a GPU-k közötti kommunikációs sávszélesség csökkentése, a Psyche hálózat pedig nagy modellek betanítását vizsgálja földrajzilag szétszórt, internethez kapcsolódó hardvereken. Kísérleteztek eszközhasználatra és érvelésre összpontosító modellekkel is, így a nyílt, decentralizált mesterséges intelligencia határán helyezkedtek el.
Technikai betekintés
A legtöbb Nous modellt nem a semmiből képezik ki; felügyelt finomhangolást és preferenciaoptimalizálást (mint például az adatvédelmi tisztviselő) alkalmaznak a nyitott alapsúlyokon felül gondosan összeállított szintetikus és emberi adatkészletek segítségével. Az elosztott képzési munkájuk a sávszélesség szűk keresztmetszetét támadja: általában a GPU-knak minden lépésben hatalmas gradiens frissítéseket kell cserélniük. A DisTrO/DeMo tömöríti és leválasztja ezeket a frissítéseket, hogy a csomópontok együtt edzenek hagyományos internetes kapcsolatokon keresztül, ahelyett, hogy szorosan összekapcsolt adatközpont-összeköttetést igényelnének.
Stratégiai hatás
Szállítói stratégia
A szállítói ütemterv befolyásolja, hogy csapata milyen funkciókat építhet fel legközelebb.
Költség és költségvetés
A kereskedelmi feltételek és a telepítési lehetőségek befolyásolják a hosszú távú költségeket és kockázatokat.
Kockázat és biztonság
A vállalati ösztönzők alakítják a termék alapértelmezett beállításait, a biztonsági testtartást és a nyitottságot.
A Nous-kutatás jövője
Nous arra tippel, hogy a nyílt mesterséges intelligencia jövője decentralizált, ahol a számítások sok független közreműködő között vannak összegyűjtve, nem pedig néhány hiperskálás klaszterben. Ha az alacsony sávszélességű képzési módszereiket skálázzák, a közösségek közösen képezhetnék ki a határkategóriás modelleket. Várható a képes nyílt asszisztensek folyamatos kiadása, a Psyche elosztott hálózatba való mélyebb befektetés és az érvelés-orientált modellek. Munkájuk jelentősen csökkentheti a nagy modellek nagy technológián kívüli képzésének akadályát.
Valós megvalósítás
A fejlesztők Nous Hermes és OpenHermes modelleket futtatnak helyben privát, irányítható csevegési asszisztensek számára API költségek nélkül.
A kutatók a Nous DisTrO és DeMo módszereit idézik, amikor a sávszélesség-hatékony elosztott modellképzést vizsgálják.
A hobbibarátok és kisvállalatok finomhangolják a Nous által kiadott adatkészleteket, hogy domain-specifikus asszisztenseket hozzanak létre.
A Psyche hálózatot arra használják, hogy kísérletezzenek képzési modellekkel a földrajzilag elosztott önkéntes GPU-k között.
Kockázatok és védőkorlátok
Az indítási bejelentések meghaladhatják a valódi termelési munkafolyamatok stabilitását.
Az API-árazás vagy az irányelvváltások egyik napról a másikra megdönthetik a feltételezéseket.
Az egyszállítótól való függőség növeli a bezárási és migrációs költségeket.
Végrehajtási ütemterv
Értékelje a szolgáltatókat saját feladatai és adatkészletei segítségével.
Az integráció előtt tekintse át az adatvédelmi, biztonsági és jogi feltételeket.
Tartsa fenn a tartalék tervet a modellek vagy szállítók között.
Figyelje a kiadási megjegyzéseket, hogy az ütemterv változásai ne lepjék meg a csapatokat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nous Research quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Tongyi Lab és Qwen Research
Gyakran ismételt kérdések
What is Nous Research?
A Nous Research egy közösségvezérelt mesterségesintelligencia-labor, amely a népszerű nyílt modellek nagy teljesítményű, kevésbé korlátozott asszisztensekké történő finomhangolásáról és a decentralizált képzés előmozdításáról ismert. Megmutatja, hogy egy kis csapat és egy nyílt forráskódú közösség hogyan versenyezhet a modellminőségben anélkül, hogy hatalmas infrastruktúrával rendelkezne.
Miről ismert a Nous Research a legkorábbi felemelkedése során?
A Nous elismertséget szerzett azzal, hogy a nyitott modelleket, mint a Llama és a Mistral a népszerű Hermes családba finomította.
Mely alapmodelleken van a Nous leggyakrabban finomhangolása?
A Nous Hermes és Capybara sorozatai nyílt alapmodellekre épülnek, különösen a Llamára és a Mistralra.
Milyen problémát oldanak meg a Nous DisTrO és DeMo projektjei?
A DisTrO és a DeMo optimalizáló célja az általában szükséges inter-GPU sávszélesség csökkentése, lehetővé téve a hagyományos internetes kapcsolatokon keresztüli képzést.
Mi az a Psyche hálózat?
A Psyche a Nous decentralizált képzési hálózata, amely azt vizsgálja, hogyan lehet szétszórt GPU-kat összevonni a nagy modellek betanításához.
Milyen technikát használ a Nous a finomhangolt modellek igazításához?
A Nous felügyelt finomhangolást és preferenciaoptimalizálást alkalmaz a nyitott alapsúlyokon felül kurált adatkészletek segítségével.