การวิจัยใหม่
Nous Research เป็นห้องปฏิบัติการ AI ที่ขับเคลื่อนโดยชุมชน ซึ่งเป็นที่รู้จักในด้านการปรับแต่งโมเดลแบบเปิดยอดนิยมให้เป็นผู้ช่วยที่มีความสามารถสูงและถูกจำกัดน้อยลง และสำหรับการผลักดันการฝึกอบรมแบบกระจายอำนาจ
ภาพรวม
It shows how a small team plus an open-source community can compete on model quality without owning massive infrastructure.
เจาะลึก
Nous Research มีชื่อเสียงมากขึ้นด้วยการใช้แบบจำลองแบบเปิด โดยเฉพาะตระกูล Llama และ Mistral ของ Meta และปรับแต่งให้เป็นซีรีส์ Hermes และ Capybara ที่ใช้กันอย่างแพร่หลาย รุ่น OpenHermes และ Nous Hermes กลายเป็นเพลงที่มียอดดาวน์โหลดมากที่สุดเพลง Hugging Face ซึ่งได้รับการยกย่องจากการทำตามคำแนะนำอย่างเข้มข้น และเน้นที่ความสามารถในการบังคับเลี้ยวมากกว่าพฤติกรรมการปฏิเสธอย่างหนัก นอกเหนือจากการปรับแต่งอย่างละเอียดแล้ว Nous ยังจัดการกับปัญหาหนักๆ นั่นก็คือการฝึกอบรมแบบกระจาย การวิจัย DisTrO ของพวกเขาและเครื่องมือเพิ่มประสิทธิภาพ DeMo มีเป้าหมายเพื่อลดแบนด์วิดท์การสื่อสารที่จำเป็นระหว่าง GPU และเครือข่าย Psyche สำรวจการฝึกอบรมโมเดลขนาดใหญ่ผ่านฮาร์ดแวร์ที่เชื่อมต่ออินเทอร์เน็ตที่กระจัดกระจายทางภูมิศาสตร์ พวกเขายังได้ทดลองใช้โมเดลที่เน้นการใช้เครื่องมือและการให้เหตุผล โดยวางตำแหน่งตัวเองไว้ที่ขอบเขตของ AI แบบเปิดและกระจายอำนาจ
ข้อมูลเชิงลึกทางเทคนิค
โมเดลของ Nous ส่วนใหญ่ไม่ได้รับการฝึกฝนตั้งแต่เริ่มต้น พวกเขาใช้การปรับแต่งอย่างละเอียดภายใต้การดูแลและการเพิ่มประสิทธิภาพการตั้งค่า (เช่น DPO) ที่ด้านบนของตุ้มน้ำหนักฐานแบบเปิดโดยใช้ชุดข้อมูลสังเคราะห์และชุดข้อมูลของมนุษย์ที่ดูแลจัดการอย่างระมัดระวัง งานฝึกอบรมแบบกระจายของพวกเขาโจมตีคอขวดของแบนด์วิธ: โดยปกติแล้ว GPU จะต้องแลกเปลี่ยนการอัปเดตการไล่ระดับขนาดใหญ่ทุกขั้นตอน DisTrO/DeMo บีบอัดและแยกการอัปเดตเหล่านี้ เพื่อให้โหนดสามารถฝึกอบรมร่วมกันผ่านลิงก์อินเทอร์เน็ตทั่วไป แทนที่จะต้องใช้การเชื่อมต่อระหว่างศูนย์ข้อมูลที่มีการเชื่อมโยงกันอย่างแน่นหนา
ผลกระทบเชิงกลยุทธ์
กลยุทธ์ของผู้ขาย
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
ต้นทุนและงบประมาณ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ความเสี่ยงและความปลอดภัย
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
อนาคตของการวิจัย Nous
Nous กำลังเดิมพันว่าอนาคตของ AI แบบเปิดจะมีการกระจายอำนาจ โดยที่การประมวลผลถูกรวบรวมจากผู้มีส่วนร่วมอิสระจำนวนมาก แทนที่จะกระจุกตัวอยู่ในคลัสเตอร์ไฮเปอร์สเกลเพียงไม่กี่คลัสเตอร์ หากวิธีการฝึกอบรมที่มีแบนด์วิธต่ำขยายวงกว้าง ชุมชนก็สามารถฝึกอบรมโมเดลระดับแนวหน้าร่วมกันได้ คาดว่าจะมีการเปิดตัวผู้ช่วยแบบเปิดที่มีความสามารถอย่างต่อเนื่อง การลงทุนเชิงลึกในเครือข่ายแบบกระจาย Psyche และโมเดลที่เน้นการใช้เหตุผล งานของพวกเขาสามารถลดอุปสรรคในการฝึกโมเดลขนาดใหญ่ที่อยู่นอกเทคโนโลยีขนาดใหญ่ได้อย่างมีนัยสำคัญ
การใช้งานจริงในโลกแห่งความเป็นจริง
นักพัฒนาใช้งานโมเดล Nous Hermes และ OpenHermes ภายในเครื่องสำหรับผู้ช่วยแชทส่วนตัวที่ควบคุมทิศทางได้ โดยไม่มีค่าใช้จ่าย API
นักวิจัยอ้างถึงวิธี DisTrO และ DeMo ของ Nous เมื่อสำรวจการฝึกโมเดลแบบกระจายที่มีประสิทธิภาพแบนด์วิธ
ผู้ที่เป็นงานอดิเรกและบริษัทขนาดเล็กปรับแต่งชุดข้อมูลที่ปล่อยออกมาของ Nous เพื่อสร้างผู้ช่วยเฉพาะโดเมน
เครือข่าย Psyche ใช้เพื่อทดลองโมเดลการฝึกอบรมกับ GPU อาสาสมัครที่กระจายตามพื้นที่ทางภูมิศาสตร์
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nous Research quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
Tongyi Lab และการวิจัย Qwen
คำถามที่พบบ่อย
What is Nous Research?
Nous Research เป็นห้องปฏิบัติการ AI ที่ขับเคลื่อนโดยชุมชน ซึ่งเป็นที่รู้จักในด้านการปรับแต่งโมเดลแบบเปิดยอดนิยมให้เป็นผู้ช่วยที่มีความสามารถสูงและถูกจำกัดน้อยลง และสำหรับการผลักดันการฝึกอบรมแบบกระจายอำนาจ มันแสดงให้เห็นว่าทีมขนาดเล็กและชุมชนโอเพ่นซอร์สสามารถแข่งขันกับคุณภาพของโมเดลโดยไม่ต้องเป็นเจ้าของโครงสร้างพื้นฐานขนาดใหญ่ได้อย่างไร
Nous Research เป็นที่รู้จักดีที่สุดในเรื่องใดตั้งแต่เริ่มมีชื่อเสียง?
Nous ได้รับการยอมรับจากการปรับแต่งโมเดลแบบเปิดอย่าง Llama และ Mistral ให้กลายเป็นตระกูล Hermes ที่ได้รับความนิยม
รุ่นพื้นฐานใดที่มี Nous ปรับแต่งบ่อยที่สุด?
ซีรีส์ Hermes และ Capybara ของ Nous สร้างขึ้นจากโมเดลฐานเปิด โดยเฉพาะ Llama และ Mistral
โปรเจ็กต์ DisTrO และ DeMo ของ Nous แก้ไขปัญหาอะไรได้บ้าง
DisTrO และเครื่องมือเพิ่มประสิทธิภาพ DeMo มุ่งหวังที่จะลดแบนด์วิธระหว่าง GPU ที่จำเป็นตามปกติ เพื่อให้สามารถฝึกอบรมผ่านลิงก์อินเทอร์เน็ตทั่วไปได้
เครือข่าย Psyche คืออะไร?
Psyche คือเครือข่ายการฝึกอบรมแบบกระจายอำนาจของ Nous ที่สำรวจวิธีรวบรวม GPU ที่กระจัดกระจายเพื่อฝึกโมเดลขนาดใหญ่
โดยทั่วไปแล้ว Nous จะใช้เทคนิคใดในการจัดวางโมเดลที่ได้รับการปรับแต่งอย่างละเอียด
Nous ใช้การปรับแต่งแบบละเอียดภายใต้การดูแลและการเพิ่มประสิทธิภาพการตั้งค่าที่ด้านบนของน้ำหนักฐานแบบเปิดโดยใช้ชุดข้อมูลที่รวบรวมไว้