Global · IA · Software · Código abierto · vLLM
vLLM 0.26 amplía la inferencia con Inkling y caché por niveles
La distribución pública incorpora compatibilidad adicional y nuevas opciones para servir modelos en distintos equipos.
Fecha de la fuente original:
Lo esencial
- La nueva versión combina soporte de modelos con mejoras en memoria e inferencia multimodal.
Paquete estable disponible en PyPI
vLLM 0.26.0 quedó disponible en PyPI el 25 de julio, con código fuente y paquetes para Linux x86-64 y ARM64. Las notas de esa versión, publicadas en GitHub el 27, detallan soporte para la familia Inkling, incluidos adaptadores LoRA, cuantización NVFP4 y decodificación especulativa con predicción de tokens.
Memoria e inferencia multimodal
El motor permite elegir implementaciones de atención por grupo de caché y amplía el almacenamiento secundario de esa memoria a servicios de objetos. También incorpora audio y vídeo a su interfaz de servicio escrita en Rust, además de optimizaciones de DeepSeek V4 para hardware NVIDIA, AMD e Intel. Son cambios del sistema que ejecuta los modelos; su disponibilidad se documenta mediante el paquete estable y las notas correspondientes.