Seldon Core และกราฟการอนุมาน
Seldon Core เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับการปรับใช้โมเดลการเรียนรู้ของเครื่องบน Kubernetes พร้อมฟีเจอร์ที่โดดเด่น: กราฟการอนุมาน
ภาพรวม
Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.
เจาะลึก
กรณีการใช้งานจริงจำนวนมากเกี่ยวข้องกับการเรียกแบบจำลองมากกว่าหนึ่งครั้ง คุณอาจประมวลผลอินพุตล่วงหน้า กำหนดเส้นทางคำขอไปยังหนึ่งในหลายโมเดล รันชุดประกอบ จากนั้นจึงประมวลผลผลลัพธ์ภายหลัง Seldon Core แสดงสิ่งนี้เป็นกราฟอนุมานที่กำหนดใน SeldonDeployment (หรือในสถาปัตยกรรม v2 ผ่านทาง Seldon Core Operator และ MLServer) กราฟสร้างขึ้นจากประเภทส่วนประกอบที่นำมาใช้ซ้ำได้ ได้แก่ โมเดลทำหน้าที่คาดการณ์ Transformer ปรับเปลี่ยนอินพุตหรือเอาท์พุต เราเตอร์ตัดสินใจว่าลูกคนไหนที่จะเรียกใช้ (เปิดใช้งานการทดสอบ A/B และแบนดิตแบบหลายแขน) และ Combiner รวมเอาต์พุตจากหลายโมเดลสำหรับการประกอบ Seldon รองรับเฟรมเวิร์กจำนวนมากผ่านเซิร์ฟเวอร์แบบแพ็กเกจล่วงหน้าและ Wrapper Python แบบกำหนดเอง และแสดงตัววัดที่หลากหลาย การติดตามแบบกระจาย และการบันทึกเพย์โหลดทันทีเพื่อให้สามารถสังเกตและอธิบายได้
ข้อมูลเชิงลึกทางเทคนิค
กราฟอนุมานเป็นกราฟอะไซคลิกแบบกำหนดทิศทาง โดยแต่ละโหนดเป็นไมโครเซอร์วิสที่มีอินเทอร์เฟซการทำนายมาตรฐาน และผู้ควบคุมของ Seldon (ผู้จัดเตรียมบริการ/ผู้ดำเนินการ) จะกำหนดเส้นทางคำขอผ่านกราฟและรวมการตอบสนอง เนื่องจากเราเตอร์สามารถใช้ลอจิกโจรแบบหลายแขนได้ การรับส่งข้อมูลจึงสามารถปรับเปลี่ยนไปสู่โมเดลที่มีประสิทธิภาพดีกว่าโดยพิจารณาจากสัญญาณรางวัลแบบเรียลไทม์ Seldon Core v2 แยกกราฟออกจากเซิร์ฟเวอร์แต่ละโมเดลโดยใช้ MLServer และ Open Inference Protocol ช่วยให้สามารถให้บริการหลายโมเดลและโอเวอร์คอมมิตบนฮาร์ดแวร์ที่ใช้ร่วมกันได้
ผลกระทบเชิงกลยุทธ์
ต้นทุนและงบประมาณ
การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
การตัดสินใจที่ชัดเจนยิ่งขึ้น
การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
การควบคุมคุณภาพ
ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
อนาคตของกราฟ Seldon Core และอนุมาน
Seldon กำลังก้าวไปสู่ MLOps แบบโมดูลาร์ที่เน้นข้อมูลเป็นศูนย์กลางด้วยไปป์ไลน์และการออกแบบโฟลว์ข้อมูลของ Core v2 บวกกับการเชื่อมต่อที่แน่นยิ่งขึ้นด้วยการตรวจจับดริฟท์ (Alibi Detect) และความสามารถในการอธิบาย (Alibi Explain) เนื่องจาก LLM และระบบเอเจนติกกลายเป็นกราฟผสมของการดึงข้อมูล แบบจำลอง และเครื่องมือ นามธรรมกราฟอนุมานจะแมปเข้ากับเวิร์กโฟลว์เหล่านี้อย่างเป็นธรรมชาติ คาดหวังการให้ความสำคัญมากขึ้นกับประสิทธิภาพการให้บริการหลายโมเดล การสตรีม และความสามารถในการสังเกตที่เป็นมาตรฐาน เพื่อให้ระบบ AI หลายขั้นตอนที่ซับซ้อนยังคงสามารถตรวจแก้จุดบกพร่องและควบคุมได้ในการผลิต
การใช้งานจริงในโลกแห่งความเป็นจริง
ผู้ให้กู้เชื่อมโยง Transformer ที่เข้ารหัสฟีเจอร์แบบร้อนแรงลงในโหนดโมเดล จากนั้น Transformer ที่จัดรูปแบบคะแนน ทั้งหมดเป็น SeldonDeployment เดียว
บริษัทสื่อแห่งหนึ่งใช้โหนดเราเตอร์ที่ใช้งานสล็อตแมชชีนแบบหลายแขนงเพื่อส่งทราฟฟิกมากขึ้นไปยังโมเดลคำแนะนำใดก็ตามที่ได้รับรางวัลการคลิกสูงกว่า
ทีมรวบรวมโมเดลการฉ้อโกงสามโมเดลด้วยโหนด Combiner ซึ่งจะเฉลี่ยคะแนนก่อนที่จะส่งการตัดสินใจครั้งเดียวกลับไปยังผู้โทร
บริษัทประกันที่ได้รับการควบคุมจะแนบบันทึกน้ำหนักบรรทุกของ Seldon และผู้อธิบาย Alibi เข้ากับกราฟอนุมาน เพื่อให้สามารถติดตามและอธิบายการคาดการณ์ทุกอย่างเพื่อการตรวจสอบได้
ความเสี่ยงและรั้ว
การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
แผนงานการดำเนินงาน
กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Seldon Core and Inference Graphs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
TensorRT และกลไกการอนุมาน
คำถามที่พบบ่อย
What is Seldon Core and Inference Graphs?
Seldon Core เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับการปรับใช้โมเดลการเรียนรู้ของเครื่องบน Kubernetes พร้อมฟีเจอร์ที่โดดเด่น: กราฟการอนุมาน แทนที่จะให้บริการโมเดลแบบแยกเดี่ยว จะช่วยให้คุณเชื่อมโยงโมเดล เราเตอร์ ตัวรวม และหม้อแปลงให้เป็นกราฟกำกับเดียวที่ทำงานเป็นบริการเดียวที่ปรับใช้ได้
อะไรคือคุณสมบัติที่กำหนดที่ทำให้ Seldon Core แตกต่างจากเซิร์ฟเวอร์รุ่นเดียว
Seldon Core ช่วยให้คุณสามารถเขียนโมเดล เราเตอร์ ตัวรวม และหม้อแปลงให้เป็นกราฟอนุมานเดียวที่ใช้งานเป็นบริการเดียว
องค์ประกอบกราฟ Seldon ใดตัดสินใจว่าโหนดย่อยใดที่จะส่งคำขอไป และเปิดใช้งานการทดสอบ A/B
เราเตอร์ส่งคำขอไปยังหนึ่งในลูกของมันและสามารถใช้การทดสอบ A/B หรือโจรที่มีอาวุธหลากหลาย
ส่วนประกอบประเภทใดที่รวมเอาต์พุตจากหลายรุ่นเพื่อประกอบเข้าด้วยกัน
Combiner ผสานการตอบสนองของโมเดลย่อยหลายรายการให้เป็นเอาต์พุตเดียว ซึ่งเป็นวิธีการสร้าง Ensemble
กราฟอนุมานของเซลดอนมีโครงสร้างกราฟประเภทใด
กราฟอนุมาน Seldon เป็นกราฟแบบอะไซคลิกโดยตรง โดยที่แต่ละโหนดเป็นไมโครเซอร์วิสที่มีอินเทอร์เฟซการทำนายมาตรฐาน
ใน Seldon Core v2 เซิร์ฟเวอร์และโปรโตคอลใดที่เปิดใช้งานการแสดงหลายโมเดลบนกราฟ
Core v2 แยกกราฟออกจากเซิร์ฟเวอร์โมเดลโดยใช้ MLServer และ Open Inference Protocol สำหรับการให้บริการหลายโมเดล