คู่มือทางเทคนิค
Seldon Core และกราฟการอนุมาน
Seldon Core เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับการปรับใช้โมเดลการเรียนรู้ของเครื่องบน Kubernetes พร้อมฟีเจอร์ที่โดดเด่น: กราฟการอนุมาน
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.
เจาะลึก
กรณีการใช้งานจริงจำนวนมากเกี่ยวข้องกับการเรียกแบบจำลองมากกว่าหนึ่งครั้ง คุณอาจประมวลผลอินพุตล่วงหน้า กำหนดเส้นทางคำขอไปยังหนึ่งในหลายโมเดล รันชุดประกอบ จากนั้นจึงประมวลผลผลลัพธ์ภายหลัง Seldon Core แสดงสิ่งนี้เป็นกราฟอนุมานที่กำหนดใน SeldonDeployment (หรือในสถาปัตยกรรม v2 ผ่านทาง Seldon Core Operator และ MLServer) กราฟสร้างขึ้นจากประเภทส่วนประกอบที่นำมาใช้ซ้ำได้ ได้แก่ โมเดลทำหน้าที่คาดการณ์ Transformer ปรับเปลี่ยนอินพุตหรือเอาท์พุต เราเตอร์ตัดสินใจว่าลูกคนไหนที่จะเรียกใช้ (เปิดใช้งานการทดสอบ A/B และแบนดิตแบบหลายแขน) และ Combiner รวมเอาต์พุตจากหลายโมเดลสำหรับการประกอบ Seldon รองรับเฟรมเวิร์กจำนวนมากผ่านเซิร์ฟเวอร์แบบแพ็กเกจล่วงหน้าและ Wrapper Python แบบกำหนดเอง และแสดงตัววัดที่หลากหลาย การติดตามแบบกระจาย และการบันทึกเพย์โหลดทันทีเพื่อให้สามารถสังเกตและอธิบายได้
การใช้งานจริงในโลกแห่งความเป็นจริง
ผู้ให้กู้เชื่อมโยง Transformer ที่เข้ารหัสฟีเจอร์แบบร้อนแรงลงในโหนดโมเดล จากนั้น Transformer ที่จัดรูปแบบคะแนน ทั้งหมดเป็น SeldonDeployment เดียว
บริษัทสื่อแห่งหนึ่งใช้โหนดเราเตอร์ที่ใช้งานสล็อตแมชชีนแบบหลายแขนงเพื่อส่งทราฟฟิกมากขึ้นไปยังโมเดลคำแนะนำใดก็ตามที่ได้รับรางวัลการคลิกสูงกว่า
ทีมรวบรวมโมเดลการฉ้อโกงสามโมเดลด้วยโหนด Combiner ซึ่งจะเฉลี่ยคะแนนก่อนที่จะส่งการตัดสินใจครั้งเดียวกลับไปยังผู้โทร
บริษัทประกันที่ได้รับการควบคุมจะแนบบันทึกน้ำหนักบรรทุกของ Seldon และผู้อธิบาย Alibi เข้ากับกราฟอนุมาน เพื่อให้สามารถติดตามและอธิบายการคาดการณ์ทุกอย่างเพื่อการตรวจสอบได้
อนาคตของกราฟ Seldon Core และอนุมาน
Seldon กำลังก้าวไปสู่ MLOps แบบโมดูลาร์ที่เน้นข้อมูลเป็นศูนย์กลางด้วยไปป์ไลน์และการออกแบบโฟลว์ข้อมูลของ Core v2 บวกกับการเชื่อมต่อที่แน่นยิ่งขึ้นด้วยการตรวจจับดริฟท์ (Alibi Detect) และความสามารถในการอธิบาย (Alibi Explain) เนื่องจาก LLM และระบบเอเจนติกกลายเป็นกราฟผสมของการดึงข้อมูล แบบจำลอง และเครื่องมือ นามธรรมกราฟอนุมานจะแมปเข้ากับเวิร์กโฟลว์เหล่านี้อย่างเป็นธรรมชาติ คาดหวังการให้ความสำคัญมากขึ้นกับประสิทธิภาพการให้บริการหลายโมเดล การสตรีม และความสามารถในการสังเกตที่เป็นมาตรฐาน เพื่อให้ระบบ AI หลายขั้นตอนที่ซับซ้อนยังคงสามารถตรวจแก้จุดบกพร่องและควบคุมได้ในการผลิต
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Seldon Core and Inference Graphs quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Seldon Core and Inference Graphs?
Seldon Core เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับการปรับใช้โมเดลการเรียนรู้ของเครื่องบน Kubernetes พร้อมฟีเจอร์ที่โดดเด่น: กราฟการอนุมาน แทนที่จะให้บริการโมเดลแบบแยกเดี่ยว จะช่วยให้คุณเชื่อมโยงโมเดล เราเตอร์ ตัวรวม และหม้อแปลงให้เป็นกราฟกำกับเดียวที่ทำงานเป็นบริการเดียวที่ปรับใช้ได้
อะไรคือคุณสมบัติที่กำหนดที่ทำให้ Seldon Core แตกต่างจากเซิร์ฟเวอร์รุ่นเดียว
Seldon Core ช่วยให้คุณสามารถเขียนโมเดล เราเตอร์ ตัวรวม และหม้อแปลงให้เป็นกราฟอนุมานเดียวที่ใช้งานเป็นบริการเดียว
องค์ประกอบกราฟ Seldon ใดตัดสินใจว่าโหนดย่อยใดที่จะส่งคำขอไป และเปิดใช้งานการทดสอบ A/B
เราเตอร์ส่งคำขอไปยังหนึ่งในลูกของมันและสามารถใช้การทดสอบ A/B หรือโจรที่มีอาวุธหลากหลาย
ส่วนประกอบประเภทใดที่รวมเอาต์พุตจากหลายรุ่นเพื่อประกอบเข้าด้วยกัน
Combiner ผสานการตอบสนองของโมเดลย่อยหลายรายการให้เป็นเอาต์พุตเดียว ซึ่งเป็นวิธีการสร้าง Ensemble
กราฟอนุมานของเซลดอนมีโครงสร้างกราฟประเภทใด
กราฟอนุมาน Seldon เป็นกราฟแบบอะไซคลิกโดยตรง โดยที่แต่ละโหนดเป็นไมโครเซอร์วิสที่มีอินเทอร์เฟซการทำนายมาตรฐาน
ใน Seldon Core v2 เซิร์ฟเวอร์และโปรโตคอลใดที่เปิดใช้งานการแสดงหลายโมเดลบนกราฟ
Core v2 แยกกราฟออกจากเซิร์ฟเวอร์โมเดลโดยใช้ MLServer และ Open Inference Protocol สำหรับการให้บริการหลายโมเดล
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้