Global · IA · Infraestructura · Inferencia · SGLang · Código abierto
SGLang 0.5.17 incorpora una capa de servidor en Rust
La versión amplía las opciones de inferencia y la gestión de sesiones para agentes.
Fecha de la fuente original:
Lo esencial
- SGLang 0.5.17 se publica el 8 de agosto con soporte inicial para un servidor en Rust.
Rust en la entrada del servidor
SGLang lanzó la versión 0.5.17 con soporte inicial para una capa de servidor multihilo en Rust. Abarca recepción y validación de solicitudes, tokenización y entrega al planificador de GPU, con una API compatible con OpenAI y componentes precompilados.
Sesiones y recuperación de motores
La actualización reúne soporte para Kimi K3 y MiniMax H3, una caché que conserva referencias activas de las sesiones y un mecanismo para recuperar motores reutilizando pesos en memoria. Incorpora además nuevas estrategias de paralelismo para modelos de expertos. Algunas funciones requieren activación explícita, y las notas identifican componentes experimentales e incompatibilidades que deben revisarse al actualizar.