คู่มือทางเทคนิค

Seldon Core และกราฟการอนุมาน

Seldon Core เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับการปรับใช้โมเดลการเรียนรู้ของเครื่องบน Kubernetes พร้อมฟีเจอร์ที่โดดเด่น: กราฟการอนุมาน

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของกราฟ Seldon Core และอนุมาน
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.

เจาะลึก

กรณีการใช้งานจริงจำนวนมากเกี่ยวข้องกับการเรียกแบบจำลองมากกว่าหนึ่งครั้ง คุณอาจประมวลผลอินพุตล่วงหน้า กำหนดเส้นทางคำขอไปยังหนึ่งในหลายโมเดล รันชุดประกอบ จากนั้นจึงประมวลผลผลลัพธ์ภายหลัง Seldon Core แสดงสิ่งนี้เป็นกราฟอนุมานที่กำหนดใน SeldonDeployment (หรือในสถาปัตยกรรม v2 ผ่านทาง Seldon Core Operator และ MLServer) กราฟสร้างขึ้นจากประเภทส่วนประกอบที่นำมาใช้ซ้ำได้ ได้แก่ โมเดลทำหน้าที่คาดการณ์ Transformer ปรับเปลี่ยนอินพุตหรือเอาท์พุต เราเตอร์ตัดสินใจว่าลูกคนไหนที่จะเรียกใช้ (เปิดใช้งานการทดสอบ A/B และแบนดิตแบบหลายแขน) และ Combiner รวมเอาต์พุตจากหลายโมเดลสำหรับการประกอบ Seldon รองรับเฟรมเวิร์กจำนวนมากผ่านเซิร์ฟเวอร์แบบแพ็กเกจล่วงหน้าและ Wrapper Python แบบกำหนดเอง และแสดงตัววัดที่หลากหลาย การติดตามแบบกระจาย และการบันทึกเพย์โหลดทันทีเพื่อให้สามารถสังเกตและอธิบายได้

การใช้งานจริงในโลกแห่งความเป็นจริง

ผู้ให้กู้เชื่อมโยง Transformer ที่เข้ารหัสฟีเจอร์แบบร้อนแรงลงในโหนดโมเดล จากนั้น Transformer ที่จัดรูปแบบคะแนน ทั้งหมดเป็น SeldonDeployment เดียว

บริษัทสื่อแห่งหนึ่งใช้โหนดเราเตอร์ที่ใช้งานสล็อตแมชชีนแบบหลายแขนงเพื่อส่งทราฟฟิกมากขึ้นไปยังโมเดลคำแนะนำใดก็ตามที่ได้รับรางวัลการคลิกสูงกว่า

ทีมรวบรวมโมเดลการฉ้อโกงสามโมเดลด้วยโหนด Combiner ซึ่งจะเฉลี่ยคะแนนก่อนที่จะส่งการตัดสินใจครั้งเดียวกลับไปยังผู้โทร

บริษัทประกันที่ได้รับการควบคุมจะแนบบันทึกน้ำหนักบรรทุกของ Seldon และผู้อธิบาย Alibi เข้ากับกราฟอนุมาน เพื่อให้สามารถติดตามและอธิบายการคาดการณ์ทุกอย่างเพื่อการตรวจสอบได้

อนาคตของกราฟ Seldon Core และอนุมาน

Seldon กำลังก้าวไปสู่ ​​MLOps แบบโมดูลาร์ที่เน้นข้อมูลเป็นศูนย์กลางด้วยไปป์ไลน์และการออกแบบโฟลว์ข้อมูลของ Core v2 บวกกับการเชื่อมต่อที่แน่นยิ่งขึ้นด้วยการตรวจจับดริฟท์ (Alibi Detect) และความสามารถในการอธิบาย (Alibi Explain) เนื่องจาก LLM และระบบเอเจนติกกลายเป็นกราฟผสมของการดึงข้อมูล แบบจำลอง และเครื่องมือ นามธรรมกราฟอนุมานจะแมปเข้ากับเวิร์กโฟลว์เหล่านี้อย่างเป็นธรรมชาติ คาดหวังการให้ความสำคัญมากขึ้นกับประสิทธิภาพการให้บริการหลายโมเดล การสตรีม และความสามารถในการสังเกตที่เป็นมาตรฐาน เพื่อให้ระบบ AI หลายขั้นตอนที่ซับซ้อนยังคงสามารถตรวจแก้จุดบกพร่องและควบคุมได้ในการผลิต

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Seldon Core and Inference Graphs quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Seldon Core and Inference Graphs?

Seldon Core เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับการปรับใช้โมเดลการเรียนรู้ของเครื่องบน Kubernetes พร้อมฟีเจอร์ที่โดดเด่น: กราฟการอนุมาน แทนที่จะให้บริการโมเดลแบบแยกเดี่ยว จะช่วยให้คุณเชื่อมโยงโมเดล เราเตอร์ ตัวรวม และหม้อแปลงให้เป็นกราฟกำกับเดียวที่ทำงานเป็นบริการเดียวที่ปรับใช้ได้

อะไรคือคุณสมบัติที่กำหนดที่ทำให้ Seldon Core แตกต่างจากเซิร์ฟเวอร์รุ่นเดียว

Seldon Core ช่วยให้คุณสามารถเขียนโมเดล เราเตอร์ ตัวรวม และหม้อแปลงให้เป็นกราฟอนุมานเดียวที่ใช้งานเป็นบริการเดียว

องค์ประกอบกราฟ Seldon ใดตัดสินใจว่าโหนดย่อยใดที่จะส่งคำขอไป และเปิดใช้งานการทดสอบ A/B

เราเตอร์ส่งคำขอไปยังหนึ่งในลูกของมันและสามารถใช้การทดสอบ A/B หรือโจรที่มีอาวุธหลากหลาย

ส่วนประกอบประเภทใดที่รวมเอาต์พุตจากหลายรุ่นเพื่อประกอบเข้าด้วยกัน

Combiner ผสานการตอบสนองของโมเดลย่อยหลายรายการให้เป็นเอาต์พุตเดียว ซึ่งเป็นวิธีการสร้าง Ensemble

กราฟอนุมานของเซลดอนมีโครงสร้างกราฟประเภทใด

กราฟอนุมาน Seldon เป็นกราฟแบบอะไซคลิกโดยตรง โดยที่แต่ละโหนดเป็นไมโครเซอร์วิสที่มีอินเทอร์เฟซการทำนายมาตรฐาน

ใน Seldon Core v2 เซิร์ฟเวอร์และโปรโตคอลใดที่เปิดใช้งานการแสดงหลายโมเดลบนกราฟ

Core v2 แยกกราฟออกจากเซิร์ฟเวอร์โมเดลโดยใช้ MLServer และ Open Inference Protocol สำหรับการให้บริการหลายโมเดล

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →