llm-d 1.0 lleva la inferencia distribuida de modelos a operaciones estables en Kubernetes
llm-d 1.0 lleva la inferencia distribuida de modelos a operaciones estables en Kubernetes
El proyecto abierto llm-d publicó su versión 1.0 con API estable, calidad de servicio multiinquilino, actualizaciones sin interrupción y enrutamiento consciente de caché para servir modelos sobre Kubernetes.
Una versión enfocada en la operación diaria
Los mantenedores de llm-d anunciaron el 20 de octubre la versión 1.0 de esta pila abierta y nativa de Kubernetes para inferencia distribuida. El proyecto, alojado como iniciativa Sandbox de la CNCF, conecta motores como vLLM o SGLang con enrutamiento, cachés y orquestación de producción.
La versión incorpora una API estable, prioridades para cargas multiinquilino, actualizaciones sin interrupción y servicio consciente de agentes. No es un modelo nuevo: es infraestructura para desplegar y operar modelos sobre diferentes aceleradores y nubes.
Reutilizar contexto y separar etapas
La plataforma combina enrutamiento consciente de caché de prefijos, descarga de caché KV hacia CPU o almacenamiento, optimización por lotes, separación de prefill y decode y paralelismo para modelos de mezcla de expertos. El objetivo es evitar recalcular contexto y equilibrar latencia y rendimiento.
IBM informa un 97% de reutilización disponible de caché en una prueba de programación con agentes y ahorros de cinco a diez veces en otra demostración autogestionada. Son resultados de los participantes bajo configuraciones específicas; deben reproducirse con el modelo, hardware y patrón de tráfico propios.
Evaluación antes de producción
- Probar aislamiento entre inquilinos, límites de prioridad y comportamiento ante saturación.
- Comparar costo por token útil y latencia de cola con la plataforma actual usando tráfico representativo.
- Ensayar fallas de nodos, rotación de versiones y pérdida de caché antes de asumir cero interrupciones.
Fuentes y referencias
Esta publicación es una síntesis original. Consulte las fuentes primarias para información técnica completa y actualizaciones.
- 1
- 2Google Cloud — llm-d 1.0 ↗fabricante
- 3IBM Research — llm-d 1.0 ↗fabricante
¿Esta amenaza puede afectar a su empresa?
ENERIT puede ayudarle a evaluar exposición, priorizar remediaciones y fortalecer su operación de ciberseguridad.
Hablar con un especialista