Global · IA · Modelos
vLLM 0.23 amplía la inferencia multimodal y el almacenamiento de caché
La distribución pública incorpora soporte para Gemma 4 Unified y extiende el manejo de memoria de los servicios de modelos.
Fecha de la fuente original:
Lo esencial
- La distribución pública incorpora soporte para Gemma 4 Unified y extiende el manejo de memoria de los servicios de modelos.
Una nueva entrega del motor abierto
El equipo de vLLM publicó la distribución 0.23.0 en PyPI el 13 de junio. Las notas de esta versión describen soporte para Gemma 4 Unified, sin codificador separado, y nuevos modelos como Cosmos3 Reasoner y Granite Speech Plus. También amplían Model Runner V2 a los modelos densos de Llama y Mistral y mejoran las rutas de ejecución de DeepSeek-V4.
Memoria y servicios de generación
La versión añade una segunda capa de descarga de caché en almacenamiento de objetos y políticas por petición. Su interfaz experimental en Rust incorpora generación en streaming y gestión dinámica de adaptadores LoRA. El registro de PyPI conserva los paquetes iniciales del 13; el anuncio de GitHub y dos compilaciones revisadas llevan fecha 15. Se trata de la misma versión, no de dos lanzamientos distintos. Las notas advierten que MiniMax M3 aún no está soportado en esta entrega.