Global · IA · Infraestructura · Inferencia · vLLM · Código abierto
vLLM 0.25 cambia el motor predeterminado para modelos densos
La versión renueva la ejecución y el procesamiento de llamadas a herramientas.
Fecha de la fuente original:
Lo esencial
- vLLM 0.25.0 se publica el 11 de julio con Model Runner V2 predeterminado para modelos densos.
Una nueva ruta de ejecución
vLLM publicó la versión 0.25.0 de su motor de inferencia. Model Runner V2 pasa a ser la ruta predeterminada para todos los modelos densos y se retira la implementación antigua de PagedAttention. La versión incorpora un motor unificado para interpretar respuestas en streaming, razonamiento y llamadas a herramientas.
Migración y compatibilidad de servidores
También añade decodificación especulativa entre modelos con vocabularios diferentes, nuevos mecanismos DSpark y DFlash y soporte para más arquitecturas. Las notas detallan cambios incompatibles, modelos retirados y ajustes para aceleradores NVIDIA, AMD e Intel. La actualización afecta a quienes despliegan modelos mediante vLLM y requiere revisar esas incompatibilidades antes de migrar.