ต่อไปคำแนะนำต่อไป
Autoscaling Model Inference บน Kubernetes
เทคนิค
คู่มือทางเทคนิค
KServe เป็นแพลตฟอร์ม Kubernetes ที่ได้มาตรฐานสำหรับการให้บริการโมเดลแมชชีนเลิร์นนิงในวงกว้าง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It gives teams a single, declarative way to deploy models with autoscaling, canary rollouts, and scale-to-zero, abstracting away most of the Kubernetes plumbing.
เดิมชื่อ KFServing และเกิดจากโครงการ Kubeflow KServe กำหนดทรัพยากรที่กำหนดเองของ InferenceService คุณเขียนไฟล์ YAML สั้นๆ โดยชี้ไปที่โมเดลที่จัดเก็บไว้ในที่เก็บข้อมูลอ็อบเจ็กต์ (S3, GCS, Azure Blob) และ KServe จะจัดการส่วนที่เหลือ รองรับทั้งการอนุมานเชิงคาดการณ์และการให้บริการ LLM เชิงสร้างสรรค์ที่เพิ่มมากขึ้น KServe จัดส่ง 'รันไทม์การให้บริการ' ที่สร้างไว้ล่วงหน้าสำหรับเฟรมเวิร์กทั่วไป (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) และรองรับคอนเทนเนอร์แบบกำหนดเอง สร้างขึ้นบน Knative Serving และเลเยอร์เครือข่าย (Istio หรือที่คล้ายกัน) โดยให้การปรับขนาดอัตโนมัติที่ขับเคลื่อนด้วยคำขอ รวมถึงการปรับขนาดเป็นศูนย์อย่างแท้จริง ดังนั้นโมเดลที่ไม่ได้ใช้งานจึงไม่ต้องใช้การประมวลผล นอกจากนี้ยังสร้างมาตรฐานให้กับ API การทำนายรอบ Open Inference Protocol ดังนั้นลูกค้าจึงพูดคุยกับทุกโมเดลในลักษณะเดียวกันโดยไม่คำนึงถึงเฟรมเวิร์ก
ธนาคารปรับใช้โมเดลการให้คะแนนเครดิตโดยการเขียน InferenceService YAML 10 บรรทัดโดยชี้ไปที่โมเดลใน S3 โดยที่ KServe จัดการการปรับขนาดอัตโนมัติและทางเข้า
ทีมอีคอมเมิร์ซใช้การเปิดตัว Canary ของ KServe เพื่อส่งปริมาณการเข้าชม 10 เปอร์เซ็นต์ไปยังโมเดลคำแนะนำใหม่ จากนั้นจะเพิ่มขึ้นเป็น 100 เปอร์เซ็นต์เมื่อตัวชี้วัดดูดี
ห้องปฏิบัติการวิจัยให้บริการโมเดลที่ไม่ค่อยได้ใช้หลายสิบโมเดลโดยปรับขนาดเป็นศูนย์ ดังนั้นแต่ละโมเดลจะหมุนเมื่อมีคำขอมาถึงเท่านั้น และไม่ต้องใช้ GPU ในขณะที่ไม่ได้ใช้งาน
ทีม MLOps ใช้ส่วนประกอบหม้อแปลง KServe เพื่อเรียกใช้การปรับขนาดรูปภาพและการทำให้เป็นมาตรฐาน ก่อนที่ตัวทำนายจะเรียกใช้โมเดลการมองเห็นที่ให้บริการ Triton
KServe กำลังพัฒนาอย่างรวดเร็วไปสู่ generative AI โดยเพิ่มแทร็กที่เน้น LLM พร้อมฟีเจอร์ต่างๆ เช่น การกำหนดเส้นทาง KV-cache-aware การแคชโมเดล และการให้บริการการกรอก/ถอดรหัสล่วงหน้าแบบแยกส่วนสำหรับโมเดลภาษาขนาดใหญ่ คาดหวังการผสานรวมที่ลึกซึ้งยิ่งขึ้นกับกลไกการอนุมาน เช่น vLLM การให้บริการหลายโหนดที่ดีขึ้นสำหรับรุ่นที่มีขนาดใหญ่เกินไปสำหรับ GPU ตัวเดียว และการกำหนดเส้นทางระดับเกตเวย์สำหรับการปรับสมดุลโหลดตามโทเค็น เนื่องจากเป็นโครงการบ่มเพาะ CNCF จึงกลายเป็นมาตรฐานเปิดโดยพฤตินัยในการวางโมเดลไว้เบื้องหลัง Kubernetes ช่วยลดช่องว่างระหว่างสิ่งประดิษฐ์ในการวิจัยและจุดสิ้นสุดการผลิตที่ยืดหยุ่น
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
KServe เป็นแพลตฟอร์ม Kubernetes ที่ได้มาตรฐานสำหรับการให้บริการโมเดลแมชชีนเลิร์นนิงในวงกว้าง ช่วยให้ทีมมีวิธีเดียวที่ประกาศอย่างชัดเจนในการปรับใช้โมเดลที่มีการปรับขนาดอัตโนมัติ การเปิดตัวแบบคานารี และการปรับขยายเป็นศูนย์ โดยแยกระบบท่อ Kubernetes ส่วนใหญ่ออกไป
KServe มีต้นกำเนิดมาจาก KFServing ภายในโครงการ Kubeflow ก่อนที่จะกลายเป็นแพลตฟอร์มอิสระ
คุณประกาศทรัพยากรที่กำหนดเองของ InferenceService ซึ่งโดยทั่วไปจะอยู่ใน YAML เพื่อปรับใช้และกำหนดค่าโมเดลที่ให้บริการ
KServe สร้างขึ้นบน Knative โดยรองรับจากขนาดถึงศูนย์ และลดการจำลองให้เป็นศูนย์เมื่อไม่มีการรับส่งข้อมูลและการสตาร์ทแบบ Cold ตามความต้องการ
KServe สร้างบน Knative Serving ซึ่งปรับขนาดการจำลองตามการทำงานพร้อมกันหรืออัตราการร้องขอ และเปิดใช้งานการปรับขยายเป็นศูนย์
เครื่องมือเริ่มต้นพื้นที่เก็บข้อมูลจะดาวน์โหลดอาร์ติแฟกต์ของโมเดลจากพื้นที่จัดเก็บออบเจ็กต์ (เช่น S3 หรือ GCS) ลงในพ็อด โดยแยกโมเดลออกจากรูปภาพ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
Autoscaling Model Inference บน Kubernetes
เทคนิค