A continuaciónSiguiente guía
Inferencia de modelo de escala automática en Kubernetes
Técnico
GUÍA Técnica
KServe y Model Serving en Kubernetes
KServe es una plataforma estandarizada nativa de Kubernetes para ofrecer modelos de aprendizaje automático a escala.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
Brinda a los equipos una forma única y declarativa de implementar modelos con escalado automático, implementaciones canarias y escala a cero, abstrayendo la mayor parte de la plomería de Kubernetes.
Buceo profundo
Anteriormente conocido como KFServing y nacido del proyecto Kubeflow, KServe define un recurso personalizado de InferenceService. Escribe un archivo YAML corto que apunta a un modelo almacenado en el almacenamiento de objetos (S3, GCS, Azure Blob) y KServe se encarga del resto. Admite tanto la inferencia predictiva como, cada vez más, la prestación de LLM generativa. KServe incluye 'tiempos de ejecución de servicio' prediseñados para marcos comunes (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) y admite contenedores personalizados. Construido sobre Knative Serving y una capa de red (Istio o similar), proporciona escalado automático basado en solicitudes, incluida una verdadera escala a cero, por lo que los modelos inactivos no consumen computación. También estandariza la API de predicción en torno al protocolo de inferencia abierta, de modo que los clientes hablan con todos los modelos de la misma manera, independientemente del marco.
Implementación en el mundo real
Un banco implementa un modelo de calificación crediticia escribiendo un YAML InferenceService de 10 líneas que apunta al modelo en S3, con KServe manejando el escalado automático y el ingreso.
Un equipo de comercio electrónico utiliza implementaciones canary de KServe para enviar el 10 por ciento del tráfico a un nuevo modelo de recomendación y luego aumenta al 100 por ciento una vez que las métricas parecen saludables.
Un laboratorio de investigación sirve docenas de modelos poco utilizados con escala a cero, por lo que cada modelo gira solo cuando llega una solicitud y no consume GPU mientras está inactivo.
Un equipo de MLOps utiliza un componente transformador KServe para ejecutar el cambio de tamaño y la normalización de imágenes antes de que el predictor ejecute un modelo de visión servido por Triton.
El futuro de KServe y Model Serving en Kubernetes
KServe está evolucionando rápidamente hacia la IA generativa, agregando una pista centrada en LLM con características como enrutamiento con reconocimiento de caché KV, almacenamiento en caché de modelos y servicio de precarga/decodificación desagregado para modelos de lenguaje grandes. Espere una integración más profunda con motores de inferencia como vLLM, un mejor servicio multinodo para modelos demasiado grandes para una GPU y enrutamiento a nivel de puerta de enlace para equilibrio de carga basado en tokens. Como proyecto en incubación del CNCF, se está convirtiendo en el estándar abierto de facto para colocar modelos detrás de Kubernetes, reduciendo la brecha entre los artefactos de investigación y los puntos finales de producción resilientes.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the KServe and Model Serving on Kubernetes quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es KServe y Model Serving en Kubernetes?
KServe es una plataforma estandarizada nativa de Kubernetes para ofrecer modelos de aprendizaje automático a escala. Brinda a los equipos una forma única y declarativa de implementar modelos con escalado automático, implementaciones canarias y escala a cero, abstrayendo la mayor parte de la plomería de Kubernetes.
¿Cuál era el nombre anterior de KServe antes de convertirse en un proyecto independiente?
KServe se originó como KFServing dentro del proyecto Kubeflow antes de convertirse en una plataforma independiente.
¿Cuál es el recurso personalizado principal de Kubernetes que define para implementar un modelo con KServe?
Declaras un recurso personalizado de InferenceService, normalmente en YAML, para implementar y configurar un modelo servido.
¿Qué capacidad permite que los modelos inactivos de KServe no consuman ningún proceso hasta que llega una solicitud?
Desarrollado sobre Knative, KServe admite la escala a cero, reduciendo las réplicas a cero cuando no hay tráfico y arrancando en frío según demanda.
¿Qué proyecto subyacente proporciona el escalado automático basado en solicitudes de KServe?
KServe se basa en Knative Serving, que escala las réplicas en función de la simultaneidad o la tasa de solicitudes y permite la escala a cero.
¿Cómo suele KServe introducir los artefactos del modelo en un pod de servicio al inicio?
Los inicializadores de almacenamiento descargan artefactos del modelo desde el almacenamiento de objetos (como S3 o GCS) al pod, desacoplando los modelos de la imagen.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.