āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

Kubernetes āļŠāļģāļŦāļĢāļąāļšāļ›āļĢāļīāļĄāļēāļ“āļ‡āļēāļ™ ML

Kubernetes āļ„āļ·āļ­āļĢāļ°āļšāļšāđ‚āļ­āđ€āļžāđˆāļ™āļ‹āļ­āļĢāđŒāļŠāļ—āļĩāđˆāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļē āļ›āļĢāļąāļšāļ‚āļ™āļēāļ” āđāļĨāļ°āļĢāļĩāļŠāļ•āļēāļĢāđŒāļ—āđ‚āļ›āļĢāđāļāļĢāļĄāļ—āļĩāđˆāļĄāļĩāļ„āļ­āļ™āđ€āļ—āļ™āđ€āļ™āļ­āļĢāđŒāļ—āļąāđˆāļ§āļ—āļąāđ‰āļ‡āļ„āļĨāļąāļŠāđ€āļ•āļ­āļĢāđŒāļ‚āļ­āļ‡āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āđ‚āļ”āļĒāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļī

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡ Kubernetes āļŠāļģāļŦāļĢāļąāļšāļ›āļĢāļīāļĄāļēāļ“āļ‡āļēāļ™ ML
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

For machine learning, it lets teams pack GPU-hungry training jobs and latency-sensitive model servers onto shared hardware without babysitting individual servers.

āđ€āļˆāļēāļ°āļĨāļķāļ

Kubernetes āđ€āļ”āļīāļĄāļ—āļĩāļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āļ—āļĩāđˆ Google āđ€āļžāļ·āđˆāļ­āđ€āļĢāļĩāļĒāļāđƒāļŠāđ‰āļšāļĢāļīāļāļēāļĢāđ€āļ§āđ‡āļš āđ‚āļ”āļĒāļˆāļ°āļ–āļ·āļ­āļ§āđˆāļēāļ„āļĨāļąāļŠāđ€āļ•āļ­āļĢāđŒāļ‚āļ­āļ‡āļ„āļļāļ“āđ€āļ›āđ‡āļ™āđ€āļŦāļĄāļ·āļ­āļ™āļāļĨāļļāđˆāļĄ CPU, āļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģ āđāļĨāļ° GPU āļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāļāļĨāļļāđˆāļĄāļŦāļ™āļķāđˆāļ‡ āļˆāļēāļāļ™āļąāđ‰āļ™āļˆāļķāļ‡āļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ§āđˆāļēāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āđƒāļ”āļ—āļĩāđˆāļˆāļ°āļĢāļąāļ™āđāļ•āđˆāļĨāļ°āļ„āļ­āļ™āđ€āļ—āļ™āđ€āļ™āļ­āļĢāđŒ āļ—āļĩāļĄ ML āļžāļķāđˆāļ‡āļžāļēāļŠāļīāđˆāļ‡āļ™āļĩāđ‰āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļ›āļĢāļīāļĄāļēāļ“āļ‡āļēāļ™āļĨāđ‰āļ™āļŦāļĨāļēāļĄāđāļĨāļ°āļĄāļĩāļĢāļēāļ„āļēāđāļžāļ‡ āļāļēāļĢāļāļķāļāļ‹āđ‰āļ­āļĄāļ­āļēāļˆāļ•āđ‰āļ­āļ‡āđƒāļŠāđ‰ GPU āđāļ›āļ”āļ•āļąāļ§āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļāļŠāļąāđˆāļ§āđ‚āļĄāļ‡ āļˆāļēāļāļ™āļąāđ‰āļ™āļˆāļķāļ‡āđ„āļĄāđˆāļ•āđ‰āļ­āļ‡āļ—āļģāļ­āļ°āđ„āļĢāđ€āļĨāļĒ Kubernetes āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļžāđ‡āļ­āļ”āļ™āļąāđ‰āļ™āļšāļ™āđ‚āļŦāļ™āļ”āļ—āļĩāđˆāļĄāļĩ GPU āļ§āđˆāļēāļ‡ āđāļĨāļ°āđ€āļĄāļ·āđˆāļ­āļ‡āļēāļ™āđ€āļŠāļĢāđ‡āļˆāļŠāļīāđ‰āļ™āļāđ‡āļˆāļ°āļ—āļģāđƒāļŦāđ‰āļŪāļēāļĢāđŒāļ”āđāļ§āļĢāđŒāļ§āđˆāļēāļ‡ āļ™āļ­āļāļˆāļēāļāļ™āļĩāđ‰āļĒāļąāļ‡āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āđ€āļ‹āļīāļĢāđŒāļŸāđ€āļ§āļ­āļĢāđŒāļāļēāļĢāļ­āļ™āļļāļĄāļēāļ™āļĒāļąāļ‡āļ„āļ‡āļ—āļģāļ‡āļēāļ™āļ­āļĒāļđāđˆ āđ‚āļ”āļĒāļĢāļĩāļŠāļ•āļēāļĢāđŒāļ—āļ„āļ­āļ™āđ€āļ—āļ™āđ€āļ™āļ­āļĢāđŒāļ—āļĩāđˆāđ€āļŠāļĩāļĒāļŦāļēāļĒ āđāļĨāļ°āļāļĢāļ°āļˆāļēāļĒāđāļšāļšāļˆāļģāļĨāļ­āļ‡āđ„āļ›āļĒāļąāļ‡āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļ•āđˆāļēāļ‡āđ† āđ€āļžāļ·āđˆāļ­āļ„āļ§āļēāļĄāļĒāļ·āļ”āļŦāļĒāļļāđˆāļ™ āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āļ—āļĩāđˆāļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āļˆāļēāļāļ”āđ‰āļēāļ™āļšāļ™ āđ€āļŠāđˆāļ™ Kubeflow, Ray āđāļĨāļ° KServe āļˆāļ°āđ€āļžāļīāđˆāļĄāļŠāđˆāļ§āļ™āđ€āļ‰āļžāļēāļ°āļ‚āļ­āļ‡ ML āđ€āļŠāđˆāļ™ āļ•āļąāļ§āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđāļšāļšāļāļĢāļ°āļˆāļēāļĒ āļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡āđ„āļŪāđ€āļ›āļ­āļĢāđŒāļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒ āđāļĨāļ°āļˆāļļāļ”āļŠāļīāđ‰āļ™āļŠāļļāļ”āđ‚āļĄāđ€āļ”āļĨāļ›āļĢāļąāļšāļ‚āļ™āļēāļ”āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļī āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļ™āļąāļāļ§āļīāļ—āļĒāļēāļĻāļēāļŠāļ•āļĢāđŒāļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļķāļ‡āļ—āļģāļ‡āļēāļ™āļāļąāļšāļ™āļēāļĄāļ˜āļĢāļĢāļĄāļĢāļ°āļ”āļąāļšāļŠāļđāļ‡āļāļ§āđˆāļēāđāļ—āļ™ YAML āđāļšāļšāļ”āļīāļš

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļŦāđ‰āļ­āļ‡āļ›āļāļīāļšāļąāļ•āļīāļāļēāļĢāļ§āļīāļˆāļąāļĒāđƒāļŠāđ‰ Kubeflow Training Operator āđ€āļžāļ·āđˆāļ­āđ€āļĢāļīāđˆāļĄāļ‡āļēāļ™āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđāļšāļšāļāļĢāļ°āļˆāļēāļĒ 32-GPU PyTorch āļšāļ™āļŠāļĩāđˆāđ‚āļŦāļ™āļ” āļˆāļēāļāļ™āļąāđ‰āļ™āļˆāļ°āļ›āļĨāđˆāļ­āļĒ GPU āđ‚āļ”āļĒāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāđ€āļĄāļ·āđˆāļ­āļĄāļēāļšāļĢāļĢāļˆāļšāļāļąāļ™

āļšāļĢāļīāļĐāļąāļ—āļ­āļĩāļ„āļ­āļĄāđ€āļĄāļīāļĢāđŒāļ‹āđƒāļŦāđ‰āļšāļĢāļīāļāļēāļĢāđ‚āļĄāđ€āļ”āļĨāļ„āļģāđāļ™āļ°āļ™āļģāļ”āđ‰āļ§āļĒ KServe āļ‹āļķāđˆāļ‡āļˆāļ°āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”āļāļēāļĢāļˆāļģāļĨāļ­āļ‡āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāļĢāļ°āļŦāļ§āđˆāļēāļ‡āļāļēāļĢāļ‚āļēāļĒāđāļšāļšāđāļŸāļĨāļŠāđāļĨāļ°āļĒāđ‰āļ­āļ™āļāļĨāļąāļšāļ‚āđ‰āļēāļĄāļ„āļ·āļ™

āļ˜āļ™āļēāļ„āļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āđāļšāļšāļāļĨāļļāđˆāļĄāļ—āļļāļāļ„āļ·āļ™āđ‚āļ”āļĒāđƒāļŠāđ‰ Kubernetes CronJobs āđ‚āļ”āļĒāļˆāļąāļ”āļ„āļīāļ§āļ‡āļēāļ™āđ€āļŦāļĨāđˆāļēāļ™āļąāđ‰āļ™āļšāļ™āđ‚āļŦāļ™āļ” CPU āļŠāļģāļĢāļ­āļ‡ āđ€āļžāļ·āđˆāļ­āđ„āļĄāđˆāđƒāļŦāđ‰āđāļ‚āđˆāļ‡āļ‚āļąāļ™āļāļąāļšāļāļēāļĢāļĢāļąāļšāļŠāđˆāļ‡āļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāđƒāļŦāđ‰āļšāļĢāļīāļāļēāļĢāđƒāļ™āđ€āļ§āļĨāļēāļāļĨāļēāļ‡āļ§āļąāļ™

āļŠāļ•āļēāļĢāđŒāļ—āļ­āļąāļžāļĢāļēāļĒāļŦāļ™āļķāđˆāļ‡āđƒāļŠāđ‰ Ray āļšāļ™ Kubernetes āđ€āļžāļ·āđˆāļ­āđ€āļĢāļĩāļĒāļāđƒāļŠāđ‰āļāļēāļĢāļāļ§āļēāļ”āļĨāđ‰āļēāļ‡āđ„āļŪāđ€āļ›āļ­āļĢāđŒāļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāđāļšāļšāļ„āļđāđˆāļ‚āļ™āļēāļ™ āđāļĨāļ°āļŠāļĢāđ‰āļēāļ‡āļžāđ‡āļ­āļ”āļ—āļ”āļĨāļ­āļ‡āļ—āļĩāđˆāļĄāļĩāļ­āļēāļĒāļļāļŠāļąāđ‰āļ™āļŦāļĨāļēāļĒāļŠāļīāļšāļ•āļąāļ§āļšāļ™āļ­āļīāļ™āļŠāđāļ•āļ™āļ‹āđŒāđ€āļ‰āļžāļēāļ°āļˆāļļāļ”āđ€āļžāļ·āđˆāļ­āļĨāļ”āļ•āđ‰āļ™āļ—āļļāļ™

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡ Kubernetes āļŠāļģāļŦāļĢāļąāļšāļ›āļĢāļīāļĄāļēāļ“āļ‡āļēāļ™ ML

Teams can combine queue admission, suitable GPU resource exposure, and topology-aware placement with their ML workload controllers. Group admission helps avoid partial worker allocation, while model servers may support scale-to-zero with an appropriate serving configuration. These behaviors depend on installed components and settings. Operators should test recovery, resource limits, interconnects, and cold-start latency rather than assume the container orchestrator alone supplies every training or serving feature.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Kubernetes for ML Workloads quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Kubernetes for ML Workloads?

Kubernetes āļ„āļ·āļ­āļĢāļ°āļšāļšāđ‚āļ­āđ€āļžāđˆāļ™āļ‹āļ­āļĢāđŒāļŠāļ—āļĩāđˆāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļē āļ›āļĢāļąāļšāļ‚āļ™āļēāļ” āđāļĨāļ°āļĢāļĩāļŠāļ•āļēāļĢāđŒāļ—āđ‚āļ›āļĢāđāļāļĢāļĄāļ—āļĩāđˆāļĄāļĩāļ„āļ­āļ™āđ€āļ—āļ™āđ€āļ™āļ­āļĢāđŒāļ—āļąāđˆāļ§āļ—āļąāđ‰āļ‡āļ„āļĨāļąāļŠāđ€āļ•āļ­āļĢāđŒāļ‚āļ­āļ‡āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āđ‚āļ”āļĒāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļī āļŠāļģāļŦāļĢāļąāļšāđāļĄāļŠāļŠāļĩāļ™āđ€āļĨāļīāļĢāđŒāļ™āļ™āļīāļ‡ āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāļŠāļēāļĄāļēāļĢāļ–āļšāļĢāļĢāļˆāļļāļ‡āļēāļ™āļāļķāļāļ­āļšāļĢāļĄāļ—āļĩāđˆāļ•āđ‰āļ­āļ‡āđƒāļŠāđ‰ GPU āđāļĨāļ°āđ€āļ‹āļīāļĢāđŒāļŸāđ€āļ§āļ­āļĢāđŒāđ‚āļĄāđ€āļ”āļĨāļ—āļĩāđˆāđ„āļ§āļ•āđˆāļ­āļ„āļ§āļēāļĄāļŦāļ™āđˆāļ§āļ‡āđ„āļ§āđ‰āļšāļ™āļŪāļēāļĢāđŒāļ”āđāļ§āļĢāđŒāļ—āļĩāđˆāđƒāļŠāđ‰āļĢāđˆāļ§āļĄāļāļąāļ™āđ‚āļ”āļĒāđ„āļĄāđˆāļ•āđ‰āļ­āļ‡āļ”āļđāđāļĨāđ€āļ‹āļīāļĢāđŒāļŸāđ€āļ§āļ­āļĢāđŒāđāļ•āđˆāļĨāļ°āđ€āļ„āļĢāļ·āđˆāļ­āļ‡

āļ‡āļēāļ™āļŦāļĨāļąāļāļ‚āļ­āļ‡āļ•āļąāļ§āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļē Kubernetes āļŠāļģāļŦāļĢāļąāļšāļ›āļĢāļīāļĄāļēāļ“āļ‡āļēāļ™ ML āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

āļ•āļąāļ§āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļˆāļ°āļˆāļąāļšāļ„āļđāđˆāļ„āļģāļ‚āļ­āļ—āļĢāļąāļžāļĒāļēāļāļĢāļ‚āļ­āļ‡āļžāđ‡āļ­āļ” (CPU, āļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģ, GPU) āļāļąāļšāđ‚āļŦāļ™āļ”āļ—āļĩāđˆāļĄāļĩāļ­āļĒāļđāđˆ āđāļĨāļ°āļ§āļēāļ‡āļžāđ‡āļ­āļ”āđƒāļ™āļ•āļģāđāļŦāļ™āđˆāļ‡āļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āļĄāļąāļ™āđ„āļĄāđˆāđ„āļ”āđ‰āļŠāļąāļĄāļœāļąāļŠāļĢāļŦāļąāļŠāļĢāļļāđˆāļ™āļŦāļĢāļ·āļ­āļ‚āđ‰āļ­āļĄāļđāļĨ

āđ‚āļ”āļĒāļ—āļąāđˆāļ§āđ„āļ›āđāļĨāđ‰āļ§ Kubernetes āļ—āļģāđƒāļŦāđ‰ GPU āļžāļĢāđ‰āļ­āļĄāđƒāļŠāđ‰āļ‡āļēāļ™āļāļąāļšāļžāđ‡āļ­āļ”āđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

āļ›āļĨāļąāđŠāļāļ­āļīāļ™āļ‚āļ­āļ‡āļ­āļļāļ›āļāļĢāļ“āđŒāđ€āļ›āļīāļ”āđ€āļœāļĒ GPU āđ€āļ›āđ‡āļ™āļ—āļĢāļąāļžāļĒāļēāļāļĢāļ—āļĩāđˆāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāđ„āļ”āđ‰ (āđ€āļŠāđˆāļ™ nvidia.com/gpu) āđ‚āļ”āļĒāļ›āļĨāđˆāļ­āļĒāđƒāļŦāđ‰āļžāđ‡āļ­āļ”āļĢāđ‰āļ­āļ‡āļ‚āļ­āđāļĨāļ°āļ•āļīāļ”āļ•āļēāļĄāļ„āļ§āļēāļĄāļžāļĢāđ‰āļ­āļĄāđƒāļŠāđ‰āļ‡āļēāļ™āļ‚āļ­āļ‡āļ•āļąāļ§āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļē

With a NoSchedule taint on a GPU node, what does a matching pod toleration do?

A toleration removes the matching taint barrier. Other resource and scheduling requirements still apply.

āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđƒāļ”āđ€āļžāļīāđˆāļĄāļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđ€āļ‰āļžāļēāļ°āļ‚āļ­āļ‡ ML āđ€āļŠāđˆāļ™ āļœāļđāđ‰āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđāļšāļšāļāļĢāļ°āļˆāļēāļĒāļ™āļ­āļāđ€āļŦāļ™āļ·āļ­āļˆāļēāļ Kubernetes

Kubeflow āļ‹āđ‰āļ­āļ™āđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒ ML āļĨāļ‡āļšāļ™ Kubernetes āļĢāļ§āļĄāļ–āļķāļ‡āļœāļđāđ‰āļ›āļāļīāļšāļąāļ•āļīāļ‡āļēāļ™āļāļķāļāļ­āļšāļĢāļĄ āđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒ āđāļĨāļ°āļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļ—āļĩāļĄāļˆāļķāļ‡āļŦāļĨāļĩāļāđ€āļĨāļĩāđˆāļĒāļ‡āļāļēāļĢāđ€āļ‚āļĩāļĒāļ™āļāļēāļĢāļāļģāļŦāļ™āļ”āļ„āđˆāļēāļ„āļĨāļąāļŠāđ€āļ•āļ­āļĢāđŒāļĢāļ°āļ”āļąāļšāļ•āđˆāļģāļ”āđ‰āļ§āļĒāļĄāļ·āļ­

āđ€āļŦāļ•āļļāđƒāļ” Kubernetes āļˆāļķāļ‡āđ€āļŦāļĄāļēāļ°āļŠāļĄāļāļąāļšāļ›āļĢāļīāļĄāļēāļ“āļ‡āļēāļ™ ML āļ—āļĩāđˆāļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡

āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāļĄāļĩāđāļŦāļĨāļĄāļ„āļĄ: āļĄāļĩ GPU āļˆāļģāļ™āļ§āļ™āļĄāļēāļāđƒāļ™āļŠāđˆāļ§āļ‡āļŠāļąāđ‰āļ™āđ† āđāļ•āđˆāđ„āļĄāđˆāļĄāļĩāđ€āļĨāļĒ Kubernetes āļˆāļ°āļ§āļēāļ‡āļ‡āļēāļ™āđ€āļĄāļ·āđˆāļ­āļ—āļĢāļąāļžāļĒāļēāļāļĢāļ§āđˆāļēāļ‡āđāļĨāļ°āđ€āļœāļĒāđāļžāļĢāđˆāđ€āļĄāļ·āđˆāļ­āđ€āļŠāļĢāđ‡āļˆāļŠāļīāđ‰āļ™ āđ€āļžāļ·āđˆāļ­āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ•āđ‰āļ™āļ—āļļāļ™āļšāļ™āļ„āļĨāļēāļ§āļ”āđŒāļŠāļģāļŦāļĢāļąāļšāļ›āļĢāļīāļĄāļēāļ“āļ‡āļēāļ™ ML

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →