ВСхничСскоС Π Π£ΠšΠžΠ’ΠžΠ”Π‘Π’Π’Πž

KServe ΠΈ обслуТиваниС ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Kubernetes

KServe β€” это стандартизированная ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° Kubernetes для обслуТивания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ машинного обучСния Π² большом ΠΌΠ°ΡΡˆΡ‚Π°Π±Π΅.

ΠŸΡ€ΠΎΡΠ»ΡƒΡˆΠ°ΠΉΡ‚Π΅ это Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΡΡ‚Π²ΠΎΠžΠ·Π²ΡƒΡ‡Π΅Π½ΠΎ ИИ Β· ~2 min

На этой страницС2 ΠΌΠΈΠ½ΡƒΡ‚Ρ‹ чтСния
  1. ΠžΠ±Π·ΠΎΡ€
  2. Π“Π»ΡƒΠ±ΠΎΠΊΠΎΠ΅ ΠΏΠΎΠ³Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅
  3. РСальная рСализация
  4. Π‘ΡƒΠ΄ΡƒΡ‰Π΅Π΅ KServe ΠΈ обслуТивания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Kubernetes
  5. ΠŸΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π½Π° ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅
  6. ΠŸΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ°ΠΉΡ‚Π΅ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚ΡŒ
  7. Часто Π·Π°Π΄Π°Π²Π°Π΅ΠΌΡ‹Π΅ вопросы

ΠžΠ±Π·ΠΎΡ€

Π­Ρ‚ΠΎ Π΄Π°Ρ‘Ρ‚ ΠΊΠΎΠΌΠ°Π½Π΄Π°ΠΌ Π΅Π΄ΠΈΠ½Ρ‹ΠΉ, Π΄Π΅ΠΊΠ»Π°Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹ΠΉ способ развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ с Π°Π²Ρ‚ΠΎΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ, Π²Π½Π΅Π΄Ρ€Π΅Π½ΠΈΠ΅ΠΌ Canary ΠΈ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ Π΄ΠΎ нуля, ΠΏΡ€ΠΈ этом удаляя Π±ΠΎΠ»ΡŒΡˆΡƒΡŽ Ρ‡Π°ΡΡ‚ΡŒ сантСхники Kubernetes.

Π“Π»ΡƒΠ±ΠΎΠΊΠΎΠ΅ ΠΏΠΎΠ³Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅

KServe, Ρ€Π°Π½Π΅Π΅ извСстный ΠΊΠ°ΠΊ KFServing ΠΈ созданный Π½Π° Π±Π°Π·Π΅ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° Kubeflow, опрСдСляСт ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ рСсурс InferenceService. Π’Ρ‹ ΠΏΠΈΡˆΠ΅Ρ‚Π΅ ΠΊΠΎΡ€ΠΎΡ‚ΠΊΠΈΠΉ Ρ„Π°ΠΉΠ» YAML, ΡƒΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‰ΠΈΠΉ Π½Π° модСль, Ρ…Ρ€Π°Π½ΡΡ‰ΡƒΡŽΡΡ Π² ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π½ΠΎΠΌ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ (S3, GCS, Azure Blob), Π° KServe ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ всС ΠΎΡΡ‚Π°Π»ΡŒΠ½ΠΎΠ΅. Он ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΊΠ°ΠΊ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΡƒΡŽΡ‰ΠΈΠΉ Π²Ρ‹Π²ΠΎΠ΄, Ρ‚Π°ΠΊ ΠΈ, Π²ΠΎ всС большСй стСпСни, Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹ΠΉ сСрвис LLM. KServe поставляСт Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ «срСды выполнСния» для распространСнных ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌ (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠ΅ ΠΊΠΎΠ½Ρ‚Π΅ΠΉΠ½Π΅Ρ€Ρ‹. ΠŸΠΎΡΡ‚Ρ€ΠΎΠ΅Π½Π½Ρ‹ΠΉ Π½Π° основС Knative Serving ΠΈ сСтСвого уровня (Istio ΠΈΠ»ΠΈ Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½ΠΎΠ³ΠΎ), ΠΎΠ½ обСспСчиваСт автоматичСскоС ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Π½Π° основС запросов, Π²ΠΊΠ»ΡŽΡ‡Π°Ρ истинноС ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Π΄ΠΎ нуля, поэтому ΠΌΠΎΠ΄Π΅Π»ΠΈ бСздСйствия Π½Π΅ ΠΏΠΎΡ‚Ρ€Π΅Π±Π»ΡΡŽΡ‚ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ рСсурсы. Он Ρ‚Π°ΠΊΠΆΠ΅ стандартизируСт API прогнозирования Π½Π° основС ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΠΎΠ³ΠΎ ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»Π° Π²Ρ‹Π²ΠΎΠ΄Π°, поэтому ΠΊΠ»ΠΈΠ΅Π½Ρ‚Ρ‹ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΠΎ Π²Π·Π°ΠΈΠΌΠΎΠ΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ с ΠΊΠ°ΠΆΠ΄ΠΎΠΉ модСлью нСзависимо ΠΎΡ‚ ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡ‹.

РСальная рСализация

Π‘Π°Π½ΠΊ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π΅Ρ‚ модСль ΠΊΡ€Π΅Π΄ΠΈΡ‚Π½ΠΎΠ³ΠΎ скоринга, написав 10-строчный YAML-ΠΊΠΎΠ΄ InferenceService, ΡƒΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‰ΠΈΠΉ Π½Π° модСль Π² S3, ΠΏΡ€ΠΈ этом KServe ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ автоматичСскоС ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΈ Π²Ρ…ΠΎΠ΄.

Команда элСктронной ΠΊΠΎΠΌΠΌΠ΅Ρ€Ρ†ΠΈΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ ΠΊΠ°Π½Π°Ρ€Π΅Π΅Ρ‡Π½Ρ‹Π΅ развСртывания KServe для ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠΈ 10 ΠΏΡ€ΠΎΡ†Π΅Π½Ρ‚ΠΎΠ² Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Π½Π° Π½ΠΎΠ²ΡƒΡŽ модСль Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΉ, Π° Π·Π°Ρ‚Π΅ΠΌ ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΠ²Π°Π΅Ρ‚ Π΅Π΅ Π΄ΠΎ 100 ΠΏΡ€ΠΎΡ†Π΅Π½Ρ‚ΠΎΠ², ΠΊΠ°ΠΊ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠΈ Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‚ Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎ.

Π˜ΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠ°Ρ лаборатория обслуТиваСт дСсятки Ρ€Π΅Π΄ΠΊΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Ρ… ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ с ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ Π΄ΠΎ нуля, поэтому каТдая модСль запускаСтся Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΏΡ€ΠΈ поступлСнии запроса ΠΈ Π½Π΅ потрСбляСт графичСский процСссор Π²ΠΎ врСмя простоя.

Команда MLOps ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ прСобразоватСля KServe для измСнСния Ρ€Π°Π·ΠΌΠ΅Ρ€Π° ΠΈ Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ изобраТСния Π΄ΠΎ Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ ΠΏΡ€Π΅Π΄ΠΈΠΊΡ‚ΠΎΡ€ запустит модСль зрСния, ΠΎΠ±ΡΠ»ΡƒΠΆΠΈΠ²Π°Π΅ΠΌΡƒΡŽ Triton.

Π‘ΡƒΠ΄ΡƒΡ‰Π΅Π΅ KServe ΠΈ обслуТивания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Kubernetes

KServe быстро развиваСтся Π² сторону Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΎΠ³ΠΎ искусствСнного ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚Π°, добавляя Ρ‚Ρ€Π΅ΠΊ, ΠΎΡ€ΠΈΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ Π½Π° LLM, с Ρ‚Π°ΠΊΠΈΠΌΠΈ функциями, ΠΊΠ°ΠΊ ΠΌΠ°Ρ€ΡˆΡ€ΡƒΡ‚ΠΈΠ·Π°Ρ†ΠΈΡ с ΡƒΡ‡Π΅Ρ‚ΠΎΠΌ KV-кэша, ΠΊΡΡˆΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΈ Π΄Π΅Π·Π°Π³Ρ€Π΅Π³ΠΈΡ€ΠΎΠ²Π°Π½Π½ΠΎΠ΅ обслуТиваниС ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ заполнСния/дСкодирования для Π±ΠΎΠ»ΡŒΡˆΠΈΡ… языковых ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ. ΠžΠΆΠΈΠ΄Π°ΠΉΡ‚Π΅ Π±ΠΎΠ»Π΅Π΅ Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠΉ ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΠΈ с ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΠ°ΠΌΠΈ Π²Ρ‹Π²ΠΎΠ΄Π°, Ρ‚Π°ΠΊΠΈΠΌΠΈ ΠΊΠ°ΠΊ vLLM, ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½Π½Ρ‹ΠΌ обслуТиваниСм Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… ΡƒΠ·Π»ΠΎΠ² для ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, слишком Π±ΠΎΠ»ΡŒΡˆΠΈΡ… для ΠΎΠ΄Π½ΠΎΠ³ΠΎ графичСского процСссора, Π° Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠ°Ρ€ΡˆΡ€ΡƒΡ‚ΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ шлюза для балансировки Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ Π½Π° основС Ρ‚ΠΎΠΊΠ΅Π½ΠΎΠ². Π‘ΡƒΠ΄ΡƒΡ‡ΠΈ ΠΈΠ½ΠΊΡƒΠ±Π°Ρ‚ΠΎΡ€ΠΎΠΌ CNCF, ΠΎΠ½ становится Π΄Π΅-Ρ„Π°ΠΊΡ‚ΠΎ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ стандартом для использования ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Kubernetes, сокращая Ρ€Π°Π·Ρ€Ρ‹Π² ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΌΠΈ Π°Ρ€Ρ‚Π΅Ρ„Π°ΠΊΡ‚Π°ΠΌΠΈ ΠΈ устойчивыми ΠΊΠΎΠ½Π΅Ρ‡Π½Ρ‹ΠΌΠΈ Ρ‚ΠΎΡ‡ΠΊΠ°ΠΌΠΈ производства.

ΠŸΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π½Π° ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅

ΠŸΠΎΡ‡Π΅ΠΌΡƒ это Π²Π°ΠΆΠ½ΠΎ

  • Π‘Ρ‚ΠΎΠΈΠΌΠΎΡΡ‚ΡŒ ΠΈ Π±ΡŽΠ΄ΠΆΠ΅Ρ‚. АрхитСктурныС Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ Π²Π»ΠΈΡΡŽΡ‚ Π½Π° ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ ΠΈ эксплуатационныС расходы Π½Π° протяТСнии ΠΌΠ½ΠΎΠ³ΠΈΡ… Π»Π΅Ρ‚.
  • Π‘ΠΎΠ»Π΅Π΅ Ρ‡Π΅Ρ‚ΠΊΠΈΠ΅ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ. ВСхничСскоС ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ ΠΊΠΎΠΌΠ°Π½Π΄Π°ΠΌ Π²Ρ‹Π±Ρ€Π°Ρ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΉ стСк, Π° Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ самый Π½ΠΎΠ²Ρ‹ΠΉ.
  • ΠšΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒ качСства. Π›ΡƒΡ‡ΡˆΠΈΠΉ ΠΈΠ½ΠΆΠ΅Π½Π΅Ρ€Π½Ρ‹ΠΉ Π²Ρ‹Π±ΠΎΡ€ сниТаСт Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ возникновСния ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с Π½Π°Π΄Π΅ΠΆΠ½ΠΎΡΡ‚ΡŒΡŽ Π½Π° производствС.

Π‘Π»Π΅Π΄ΠΈΡ‚Π΅ Π·Π°

  • ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ ΠΎΠ΄Π½ΠΎΠ³ΠΎ тСста ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ ΡˆΠΈΡ€ΠΎΠΊΠΈΠ΅ нСдостатки систСмы.
  • Π—Π°Ρ‚Ρ€Π°Ρ‚Ρ‹ Π½Π° инфраструктуру ΠΈ тСхничСскоС обслуТиваниС часто Π½Π΅Π΄ΠΎΠΎΡ†Π΅Π½ΠΈΠ²Π°ΡŽΡ‚ΡΡ.
  • ΠŸΡ€ΠΎΠ±Π΅Π»Ρ‹ Π² бСзопасности ΠΈ Π½Π°Π±Π»ΡŽΠ΄Π°Π΅ΠΌΠΎΡΡ‚ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΠ²Π°Ρ‚ΡŒΡΡ ΠΏΠΎ ΠΌΠ΅Ρ€Π΅ услоТнСния систСм.

Π‘Π»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ шаги

  1. ΠžΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚Π΅ Ρ†Π΅Π»Π΅Π²Ρ‹Π΅ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΈ, качСства ΠΈ стоимости ΠΏΠ΅Ρ€Π΅Π΄ Π²Π½Π΅Π΄Ρ€Π΅Π½ΠΈΠ΅ΠΌ.
  2. ВСстированиС ΠΏΡ€ΠΈ рСалистичной Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠ΅ ΠΈ условиях Π΄Π°Π½Π½Ρ‹Ρ….
  3. ΠœΠΎΠ½ΠΈΡ‚ΠΎΡ€ΠΈΠ½Π³ ΠΏΡ€ΠΈΠ±ΠΎΡ€Π° Π½Π° Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ ошибок, Π΄Ρ€Π΅ΠΉΡ„Π° ΠΈ влияния ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ.
  4. ΠŸΠ΅Ρ€Π΅Π΄ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΡŒΡ‚Π΅ ΠΏΡƒΡ‚ΠΈ ΠΎΡ‚ΠΊΠ°Ρ‚Π° ΠΈ рСагирования Π½Π° ΠΈΠ½Ρ†ΠΈΠ΄Π΅Π½Ρ‚Ρ‹.

ΠŸΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ°ΠΉΡ‚Π΅ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚ΡŒ

БСсплатная рассылка

ΠŸΠΎΠ»ΡƒΡ‡Π°ΠΉΡ‚Π΅ Π΅ΠΆΠ΅Π΄Π½Π΅Π²Π½Ρ‹ΠΉ AI-ΠΎΠ±Π·ΠΎΡ€

Π’Ρ€ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€Π΅Π½Π½Ρ‹Ρ… AI-истории ΠΊΠ°ΠΆΠ΄ΠΎΠ΅ ΡƒΡ‚Ρ€ΠΎ Π±ΡƒΠ΄Π½Π΅Π³ΠΎ дня, написанныС простым английским. БСсплатно навсСгда, Π±Π΅Π· Ρ€Π΅ΠΊΠ»Π°ΠΌΡ‹.

Одно элСктронноС письмо ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ Π±ΡƒΠ΄Π½ΠΈΠΉ дСнь. ΠžΡ‚ΠΏΠΈΡΠ°Ρ‚ΡŒΡΡ Π² ΠΎΠ΄ΠΈΠ½ ΠΊΠ»ΠΈΠΊ. ΠœΡ‹ Π½ΠΈΠΊΠΎΠ³Π΄Π° Π½Π΅ ΠΏΡ€ΠΎΠ΄Π°Π΅ΠΌ ΠΈ Π½Π΅ ΠΏΠ΅Ρ€Π΅Π΄Π°Π΅ΠΌ ваш адрСс.

ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡŒΡ‚Π΅ сСбя

Take the KServe and Model Serving on Kubernetes quiz

МгновСнная обратная связь ΠΏΠΎ ΠΊΠ°ΠΆΠ΄ΠΎΠΌΡƒ ΠΎΡ‚Π²Π΅Ρ‚Ρƒ ΠΈ ΠΎΠ±Ρ‰ΠΈΠΉ сСртификат с провСряСмым ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€ΠΎΠΌ послС прохоТдСния курса.

ΠΠ°Ρ‡Π°Ρ‚ΡŒ тСст

ΠŸΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΡ‚Π΅ бСсплатноС ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠ΅ Π² области искусствСнного ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚Π°. AI Understanding β€” это нСкоммСрчСская организация 501(c)(3). Никакой Ρ€Π΅ΠΊΠ»Π°ΠΌΡ‹ ΠΈ ΠΏΠ»Π°Ρ‚Π½ΠΎΠ³ΠΎ доступа. Π‘Π΄Π΅Π»Π°Ρ‚ΡŒ ΠΏΠΎΠΆΠ΅Ρ€Ρ‚Π²ΠΎΠ²Π°Π½ΠΈΠ΅

Часто Π·Π°Π΄Π°Π²Π°Π΅ΠΌΡ‹Π΅ вопросы

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ KServe ΠΈ Model Serving Π½Π° Kubernetes?

KServe β€” это стандартизированная ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° Kubernetes для обслуТивания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ машинного обучСния Π² большом ΠΌΠ°ΡΡˆΡ‚Π°Π±Π΅. Он Π΄Π°Π΅Ρ‚ ΠΊΠΎΠΌΠ°Π½Π΄Π°ΠΌ Π΅Π΄ΠΈΠ½Ρ‹ΠΉ Π΄Π΅ΠΊΠ»Π°Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹ΠΉ способ развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ с Π°Π²Ρ‚ΠΎΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ, ΠΊΠ°Π½Π°Ρ€Π΅Π΅Ρ‡Π½Ρ‹ΠΌ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π½ΠΈΠ΅ΠΌ ΠΈ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ Π΄ΠΎ нуля, абстрагируя Π±ΠΎΠ»ΡŒΡˆΡƒΡŽ Ρ‡Π°ΡΡ‚ΡŒ инфраструктуры Kubernetes.

Как назывался KServe Π΄ΠΎ Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ ΠΎΠ½ стал ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ΠΎΠΌ?

KServe Π²ΠΎΠ·Π½ΠΈΠΊΠ»Π° ΠΊΠ°ΠΊ KFServing Π² Ρ€Π°ΠΌΠΊΠ°Ρ… ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° Kubeflow, Π° Π·Π°Ρ‚Π΅ΠΌ стала нСзависимой ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠΎΠΉ.

Какой основной ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ рСсурс Kubernetes Π²Ρ‹ опрСдСляСтС для развСртывания ΠΌΠΎΠ΄Π΅Π»ΠΈ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ KServe?

Π’Ρ‹ ΠΎΠ±ΡŠΡΠ²Π»ΡΠ΅Ρ‚Π΅ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ рСсурс InferenceService, ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ YAML, для развСртывания ΠΈ настройки обслуТиваСмой ΠΌΠΎΠ΄Π΅Π»ΠΈ.

Какая Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ позволяСт Π±Π΅Π·Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΌ модСлям KServe ΠΏΠΎΡ‚Ρ€Π΅Π±Π»ΡΡ‚ΡŒ Π½ΡƒΠ»Π΅Π²ΡƒΡŽ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½ΡƒΡŽ ΠΌΠΎΡ‰Π½ΠΎΡΡ‚ΡŒ Π΄ΠΎ Ρ‚Π΅Ρ… ΠΏΠΎΡ€, ΠΏΠΎΠΊΠ° Π½Π΅ поступит запрос?

KServe, созданный Π½Π° основС Knative, ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Π΄ΠΎ нуля, сбрасываниС Ρ€Π΅ΠΏΠ»ΠΈΠΊ Π΄ΠΎ нуля ΠΏΡ€ΠΈ отсутствии Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° ΠΈ Ρ…ΠΎΠ»ΠΎΠ΄Π½Ρ‹ΠΉ запуск ΠΏΠΎ Ρ‚Ρ€Π΅Π±ΠΎΠ²Π°Π½ΠΈΡŽ.

Какой Π±Π°Π·ΠΎΠ²Ρ‹ΠΉ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ обСспСчиваСт автоматичСскоС ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ KServe Π½Π° основС запросов?

KServe основан Π½Π° Knative Serving, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅Ρ‚ Ρ€Π΅ΠΏΠ»ΠΈΠΊΠΈ Π½Π° основС ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΠΈΠ·ΠΌΠ° ΠΈΠ»ΠΈ частоты запросов ΠΈ обСспСчиваСт ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Π΄ΠΎ нуля.

Как KServe ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ ΠΏΠ΅Ρ€Π΅Π΄Π°Π΅Ρ‚ Π°Ρ€Ρ‚Π΅Ρ„Π°ΠΊΡ‚Ρ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² ΠΎΠ±ΡΠ»ΡƒΠΆΠΈΠ²Π°ΡŽΡ‰ΠΈΠΉ ΠΌΠΎΠ΄ΡƒΠ»ΡŒ ΠΏΡ€ΠΈ запускС?

Π˜Π½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·Π°Ρ‚ΠΎΡ€Ρ‹ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π° Π·Π°Π³Ρ€ΡƒΠΆΠ°ΡŽΡ‚ Π°Ρ€Ρ‚Π΅Ρ„Π°ΠΊΡ‚Ρ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈΠ· Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π° ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² (Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, S3 ΠΈΠ»ΠΈ GCS) Π² ΠΌΠΎΠ΄ΡƒΠ»ΡŒ, отдСляя ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΎΡ‚ изобраТСния.

ΠŸΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ°ΠΉΡ‚Π΅ ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ

БвязанныС руководства

Π”Ρ€ΡƒΠ³ΠΈΠ΅ руководства, Π²Ρ‹Π±Ρ€Π°Π½Π½Ρ‹Π΅ ΠΏΠΎ этой Ρ‚Π΅ΠΌΠ΅

Π”Π°Π»Π΅Π΅Π‘Π»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ руководство

Π’Ρ‹Π²ΠΎΠ΄ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π°Π²Ρ‚ΠΎΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡ Π² Kubernetes

ВСхничСский

ΠŸΠΎΠ»ΡƒΡ‡ΠΈΡ‚Π΅ бСсплатный AI-ΡΠ΅Ρ€Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠšΠΎΡ€ΠΎΡ‚ΠΊΠΈΠΉ бСсплатный курс ΠΈ экзамСн. Π‘Π΅Π· стоимости, Π±Π΅Π· ΠΊΠ°Ρ€Ρ‚Ρ‹. Около 2,5 часов.ΠΠ°Ρ‡Π°Ρ‚ΡŒ бСсплатно β†’