Global · IA · Infraestructura · Inferencia · SGLang · Código abierto
SGLang 0.5.16 cambia la caché predeterminada y consolida DSpark
La versión estable reúne cambios de ejecución y compatibilidad para servidores de modelos.
Fecha de la fuente original:
Lo esencial
- SGLang 0.5.16 modifica la caché predeterminada y reúne DSpark en una versión estable.
Una nueva configuración estable
SGLang publicó la versión estable 0.5.16, que activa UnifiedRadixTree de forma predeterminada para arquitecturas con atención deslizante, Mamba y DSA. También retira las rutas experimentales de cuantización QServe y FBGEMM FP8, por lo que los administradores deben revisar su configuración al migrar.
DSpark pasa de desarrollo a esta entrega
La versión incluye DSpark, una estrategia de decodificación especulativa cuya integración ya se había anunciado el 6 de julio mediante una imagen de desarrollo. Ajusta la cantidad de tokens que verifica según la confianza del borrador. Las notas mantienen advertencias concretas, como un problema de determinismo en ciertas configuraciones de DeepSeek-V4-Flash con FP4 y captura de gráficos.