諾斯研究
Nous Research 是一家由社群驅動的人工智慧實驗室，以將流行的開放模型微調為能力更強、限制較少的助手以及推動去中心化培訓而聞名。
概述
It shows how a small team plus an open-source community can compete on model quality without owning massive infrastructure.
深入探討
Nous Research 透過採用開放式基礎模型（尤其是 Meta 的 Llama 系列和 Mistral）並將其微調到廣泛使用的 Hermes 和 Capybara 系列中而聲名鵲起。他們的 OpenHermes 和 Nous Hermes 模型成為 Hugging Face 上下載次數最多的微調之一，因其強烈的指令遵循性和強調可操縱性而不是嚴重的拒絕行為而受到好評。除了微調之外，Nous 還解決了一個難題：分散式訓練。他們的 DisTrO 研究和 Demo 優化器旨在削減 GPU 之間所需的通訊頻寬，而 Psyche 網路則探索在地理分散、聯網的硬體上訓練大型模型。他們也嘗試了使用工具和以推理為中心的模型，將自己定位在開放、去中心化人工智慧的前沿。
技術洞察
大多數 Nous 模型都不是從頭開始訓練的；他們使用精心策劃的合成和人類資料集，在開放基礎權重之上應用監督微調和偏好優化（如 DPO）。他們的分散式訓練工作解決了頻寬瓶頸：通常 GPU 必須每一步交換巨大的梯度更新。 DisTrO/DemoMo 壓縮並解耦這些更新，以便節點可以透過普通互聯網連結一起訓練，而不需要緊密耦合的資料中心互連。
戰略影響
供應商策略
供應商路線圖會影響您的團隊接下來可以建立的功能。
成本與預算
商業條款和部署選項會影響長期成本和風險。
風險與安全
公司激勵措施塑造了產品預設、安全態勢和開放性。
諾斯研究的未來
Nous 押注開放人工智慧的未來是去中心化的，計算將集中在許多獨立貢獻者身上，而不是集中在幾個超大規模集群中。如果他們的低頻寬訓練方法能夠擴展，社區就可以集體訓練前沿模型。預計功能強大的開放助手的持續發布、對 Psyche 分散式網路的更深入投資以及面向推理的模型。他們的工作可以有意義地降低在大型科技公司之外訓練大型模型的障礙。
現實世界的實施
開發人員在本地運行 Nous Hermes 和 OpenHermes 模型，以實現私密、可操控的聊天助手，無需 API 成本。
研究人員在探索頻寬高效的分散式模型訓練時引用了 Nous 的 DisTrO 和 Demo 方法。
愛好者和小公司對 Nous 發布的數據集進行微調，以建立特定領域的助手。
Psyche 網路用於跨地理分佈的志願者 GPU 試驗訓練模型。
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
在整合之前查看隱私、安全和法律條款。
維護跨模型或供應商的後備計劃。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nous Research quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Nous Research?
Nous Research 是一家由社群驅動的人工智慧實驗室，以將流行的開放模型微調為能力更強、限制較少的助手以及推動去中心化培訓而聞名。它展示了小團隊加上開源社群如何在不擁有大量基礎設施的情況下在模型品質上進行競爭。
Nous Research 在早期崛起時最出名的是什麼？
Nous 通過將 Llama 和 Mistral 等開放模型微調到流行的 Hermes 系列中而獲得了認可。
Nous 最常對哪些基本模型進行微調？
Nous 的 Hermes 和 Capybara 系列基於開放式底座模型，特別是 Llama 和 Mistral。
Nous 的 DisTrO 和 Demo 專案解決什麼問題？
DisTrO 和 Demo 優化器旨在削減通常所需的 GPU 間頻寬，從而能夠透過普通網路連結進行訓練。
什麼是 Psyche 網路？
Psyche 是 Nous 的去中心化訓練網絡，探索如何匯集分散的 GPU 來訓練大型模型。
Nous 通常會使用什麼技術來調整其微調模型？
Nous 使用精選資料集在開放基礎權重之上應用監督微調和偏好優化。