คู่มือทางเทคนิค

Ray สำหรับ AI แบบกระจาย

Ray เป็นเฟรมเวิร์กโอเพ่นซอร์สที่ทำให้ปรับขนาดปริมาณงาน Python และ AI จากแล็ปท็อปไปยังคลัสเตอร์ของเครื่องนับพันได้อย่างง่ายดาย

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ Ray สำหรับ AI แบบกระจาย
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It matters because it gives a simple, unified way to distribute training, tuning, data processing, and serving without rewriting your code for each.

เจาะลึก

แนวคิดหลักของ Ray คือการเปลี่ยนฟังก์ชันและคลาสของ Python ธรรมดาให้เป็นหน่วยแบบกระจายโดยมีการเปลี่ยนแปลงเพียงเล็กน้อย ฟังก์ชันที่ทำเครื่องหมายว่าเป็น 'งาน' ระยะไกลจะทำงานแบบอะซิงโครนัสกับผู้ปฏิบัติงานในคลัสเตอร์ ชั้นเรียนที่ถูกทำเครื่องหมายว่าเป็น 'นักแสดง' ที่อยู่ห่างไกลจะกลายเป็นบริการของรัฐที่อาศัยอยู่กับคนงาน Ray ส่งคืนไลท์เวทฟิวเจอร์ส (การอ้างอิงอ็อบเจ็กต์) และจัดการการกำหนดเวลา การเคลื่อนที่ของข้อมูลผ่านที่เก็บอ็อบเจ็กต์ที่ใช้ร่วมกัน และความทนทานต่อข้อผิดพลาด นอกเหนือจากไลบรารีหลักที่สร้างขึ้นตามจุดประสงค์นี้แล้ว: Ray Train สำหรับการฝึกโมเดลแบบกระจาย, Ray Tune สำหรับการค้นหาไฮเปอร์พารามิเตอร์, Ray Data สำหรับไปป์ไลน์ข้อมูลสตรีมมิ่ง, RLlib สำหรับการเรียนรู้แบบเสริมกำลัง และ Ray Serve สำหรับการให้บริการโมเดลที่ปรับขนาดได้ ซึ่งช่วยให้คลัสเตอร์หนึ่งจัดการเวิร์กโฟลว์ ML ทั้งหมดได้ตั้งแต่ต้นจนจบ

การใช้งานจริงในโลกแห่งความเป็นจริง

เรียกใช้ Ray Tune เพื่อค้นหาชุดไฮเปอร์พารามิเตอร์หลายร้อยชุดพร้อมกันทั่วทั้งคลัสเตอร์ GPU เพื่อค้นหาการกำหนดค่าโมเดลที่ดีที่สุด

การใช้ Ray Train เพื่อกระจายการฝึกฝนโมเดลการเรียนรู้เชิงลึกไปยัง GPU และโหนดจำนวนมากโดยมีการเปลี่ยนแปลงโค้ดเพียงเล็กน้อย

สร้างไปป์ไลน์การอนุมานแบบแบตช์ด้วย Ray Data เพื่อทำคะแนนบันทึกนับล้านรายการโดยการสตรีมผ่านแบบจำลองทั่วทั้งคลัสเตอร์

การปรับใช้หลายโมเดลหลังจุดสิ้นสุดการปรับขนาดอัตโนมัติจุดเดียวด้วย Ray Serve เพื่อจัดการปริมาณการใช้ข้อมูลการผลิตที่แปรผัน

อนาคตของ Ray สำหรับ AI แบบกระจาย

Ray ได้กลายเป็นแกนหลักของ AI ขนาดใหญ่ โดยเฉพาะอย่างยิ่งใช้ในการฝึกอบรมและให้บริการโมเดลภาษาขนาดใหญ่ คาดหวังการเติบโตในการให้บริการเฉพาะของ LLM (Ray Serve with vLLM), การตั้งเวลา GPU ที่แตกต่างกัน, การบูรณาการที่เข้มงวดมากขึ้นกับ Data Lake และ Kubernetes ผ่าน KubeRay และการปรับขนาดอัตโนมัติที่ดีขึ้นสำหรับปริมาณงานที่สร้างอย่างรวดเร็ว เมื่อโมเดลเติบโตขึ้น บทบาทของ Ray ในการเตรียมการฝึกอบรมแบบหลายโหนด ไปป์ไลน์ RLHF และการอนุมานแบบแบตช์บนตัวเร่งความเร็วหลายพันตัวก็มีแนวโน้มที่จะขยายตัว

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Ray for Distributed AI quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Ray for Distributed AI?

Ray เป็นเฟรมเวิร์กโอเพ่นซอร์สที่ทำให้ปรับขนาดปริมาณงาน Python และ AI จากแล็ปท็อปไปยังคลัสเตอร์ของเครื่องนับพันได้อย่างง่ายดาย เป็นเรื่องสำคัญเนื่องจากให้วิธีที่เรียบง่ายและเป็นหนึ่งเดียวในการกระจายการฝึกอบรม การปรับแต่ง การประมวลผลข้อมูล และการให้บริการโดยไม่ต้องเขียนโค้ดใหม่สำหรับแต่ละรายการ

เรย์แก้ปัญหาอะไรเป็นหลัก?

Ray มอบวิธีง่ายๆ ที่เป็นหนึ่งเดียวในการกระจายการคำนวณไปยังเครื่องหลายๆ เครื่อง โดยไม่ต้องเขียนโค้ดใหม่สำหรับปริมาณงานแต่ละประเภท

ในเรย์ อะไรคือความแตกต่างระหว่าง 'งาน' และ 'นักแสดง'?

งานเป็นฟังก์ชันระยะไกลแบบไร้สถานะที่ทำงานแบบคู่ขนาน ในขณะที่ตัวแสดงเป็นวัตถุที่มีอายุการใช้งานยาวนานซึ่งจะคงสถานะไว้ เช่นเดียวกับโมเดลที่โหลด

เรย์จะกลับมาทันทีเมื่อคุณเริ่มงานระยะไกล?

เรย์กลับมาสู่อนาคตที่มีน้ำหนักเบาในทันที ดังนั้นงานจึงดำเนินไปแบบอะซิงโครนัส คุณเรียก ray.get() เพื่อดึงผลลัพธ์จริงเมื่อจำเป็น

ไลบรารี่ Ray ใดที่ออกแบบมาสำหรับการค้นหาไฮเปอร์พารามิเตอร์แบบกระจาย

Ray Tune เชี่ยวชาญในการดำเนินการทดลองไฮเปอร์พารามิเตอร์หลายรายการพร้อมกันทั่วทั้งคลัสเตอร์

Which object type do Ray’s docs explicitly say can be read from same-node object-store memory without a copy?

Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →