คู่มือทางเทคนิค

KServe และโมเดลที่ให้บริการบน Kubernetes

KServe เป็นแพลตฟอร์ม Kubernetes ที่ได้มาตรฐานสำหรับการให้บริการโมเดลแมชชีนเลิร์นนิงในวงกว้าง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ KServe และโมเดลการให้บริการบน Kubernetes
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It gives teams a single, declarative way to deploy models with autoscaling, canary rollouts, and scale-to-zero, abstracting away most of the Kubernetes plumbing.

เจาะลึก

เดิมชื่อ KFServing และเกิดจากโครงการ Kubeflow KServe กำหนดทรัพยากรที่กำหนดเองของ InferenceService คุณเขียนไฟล์ YAML สั้นๆ โดยชี้ไปที่โมเดลที่จัดเก็บไว้ในที่เก็บข้อมูลอ็อบเจ็กต์ (S3, GCS, Azure Blob) และ KServe จะจัดการส่วนที่เหลือ รองรับทั้งการอนุมานเชิงคาดการณ์และการให้บริการ LLM เชิงสร้างสรรค์ที่เพิ่มมากขึ้น KServe จัดส่ง 'รันไทม์การให้บริการ' ที่สร้างไว้ล่วงหน้าสำหรับเฟรมเวิร์กทั่วไป (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) และรองรับคอนเทนเนอร์แบบกำหนดเอง สร้างขึ้นบน Knative Serving และเลเยอร์เครือข่าย (Istio หรือที่คล้ายกัน) โดยให้การปรับขนาดอัตโนมัติที่ขับเคลื่อนด้วยคำขอ รวมถึงการปรับขนาดเป็นศูนย์อย่างแท้จริง ดังนั้นโมเดลที่ไม่ได้ใช้งานจึงไม่ต้องใช้การประมวลผล นอกจากนี้ยังสร้างมาตรฐานให้กับ API การทำนายรอบ Open Inference Protocol ดังนั้นลูกค้าจึงพูดคุยกับทุกโมเดลในลักษณะเดียวกันโดยไม่คำนึงถึงเฟรมเวิร์ก

การใช้งานจริงในโลกแห่งความเป็นจริง

ธนาคารปรับใช้โมเดลการให้คะแนนเครดิตโดยการเขียน InferenceService YAML 10 บรรทัดโดยชี้ไปที่โมเดลใน S3 โดยที่ KServe จัดการการปรับขนาดอัตโนมัติและทางเข้า

ทีมอีคอมเมิร์ซใช้การเปิดตัว Canary ของ KServe เพื่อส่งปริมาณการเข้าชม 10 เปอร์เซ็นต์ไปยังโมเดลคำแนะนำใหม่ จากนั้นจะเพิ่มขึ้นเป็น 100 เปอร์เซ็นต์เมื่อตัวชี้วัดดูดี

ห้องปฏิบัติการวิจัยให้บริการโมเดลที่ไม่ค่อยได้ใช้หลายสิบโมเดลโดยปรับขนาดเป็นศูนย์ ดังนั้นแต่ละโมเดลจะหมุนเมื่อมีคำขอมาถึงเท่านั้น และไม่ต้องใช้ GPU ในขณะที่ไม่ได้ใช้งาน

ทีม MLOps ใช้ส่วนประกอบหม้อแปลง KServe เพื่อเรียกใช้การปรับขนาดรูปภาพและการทำให้เป็นมาตรฐาน ก่อนที่ตัวทำนายจะเรียกใช้โมเดลการมองเห็นที่ให้บริการ Triton

อนาคตของ KServe และโมเดลการให้บริการบน Kubernetes

KServe กำลังพัฒนาอย่างรวดเร็วไปสู่ ​​generative AI โดยเพิ่มแทร็กที่เน้น LLM พร้อมฟีเจอร์ต่างๆ เช่น การกำหนดเส้นทาง KV-cache-aware การแคชโมเดล และการให้บริการการกรอก/ถอดรหัสล่วงหน้าแบบแยกส่วนสำหรับโมเดลภาษาขนาดใหญ่ คาดหวังการผสานรวมที่ลึกซึ้งยิ่งขึ้นกับกลไกการอนุมาน เช่น vLLM การให้บริการหลายโหนดที่ดีขึ้นสำหรับรุ่นที่มีขนาดใหญ่เกินไปสำหรับ GPU ตัวเดียว และการกำหนดเส้นทางระดับเกตเวย์สำหรับการปรับสมดุลโหลดตามโทเค็น เนื่องจากเป็นโครงการบ่มเพาะ CNCF จึงกลายเป็นมาตรฐานเปิดโดยพฤตินัยในการวางโมเดลไว้เบื้องหลัง Kubernetes ช่วยลดช่องว่างระหว่างสิ่งประดิษฐ์ในการวิจัยและจุดสิ้นสุดการผลิตที่ยืดหยุ่น

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the KServe and Model Serving on Kubernetes quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is KServe and Model Serving on Kubernetes?

KServe เป็นแพลตฟอร์ม Kubernetes ที่ได้มาตรฐานสำหรับการให้บริการโมเดลแมชชีนเลิร์นนิงในวงกว้าง ช่วยให้ทีมมีวิธีเดียวที่ประกาศอย่างชัดเจนในการปรับใช้โมเดลที่มีการปรับขนาดอัตโนมัติ การเปิดตัวแบบคานารี และการปรับขยายเป็นศูนย์ โดยแยกระบบท่อ Kubernetes ส่วนใหญ่ออกไป

เดิมชื่อ KServe ก่อนจะมาเป็นโปรเจ็กต์เดี่ยวคืออะไร

KServe มีต้นกำเนิดมาจาก KFServing ภายในโครงการ Kubeflow ก่อนที่จะกลายเป็นแพลตฟอร์มอิสระ

ทรัพยากรที่กำหนดเองของ Kubernetes หลักที่คุณกำหนดเพื่อปรับใช้โมเดลกับ KServe คืออะไร

คุณประกาศทรัพยากรที่กำหนดเองของ InferenceService ซึ่งโดยทั่วไปจะอยู่ใน YAML เพื่อปรับใช้และกำหนดค่าโมเดลที่ให้บริการ

ความสามารถใดที่ทำให้โมเดล KServe ที่ไม่ได้ใช้งานใช้การประมวลผลเป็นศูนย์จนกว่าจะได้รับคำขอ

KServe สร้างขึ้นบน Knative โดยรองรับจากขนาดถึงศูนย์ และลดการจำลองให้เป็นศูนย์เมื่อไม่มีการรับส่งข้อมูลและการสตาร์ทแบบ Cold ตามความต้องการ

โปรเจ็กต์พื้นฐานใดที่ให้การปรับขนาดอัตโนมัติตามคำขอของ KServe

KServe สร้างบน Knative Serving ซึ่งปรับขนาดการจำลองตามการทำงานพร้อมกันหรืออัตราการร้องขอ และเปิดใช้งานการปรับขยายเป็นศูนย์

โดยทั่วไปแล้ว KServe จะนำโมเดลอาร์ติแฟกต์ไปไว้ในเสิร์ฟพ็อดเมื่อเริ่มต้นได้อย่างไร

เครื่องมือเริ่มต้นพื้นที่เก็บข้อมูลจะดาวน์โหลดอาร์ติแฟกต์ของโมเดลจากพื้นที่จัดเก็บออบเจ็กต์ (เช่น S3 หรือ GCS) ลงในพ็อด โดยแยกโมเดลออกจากรูปภาพ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →