Global · IA · Infraestructura · Inferencia · SGLang · Código abierto
SGLang 0.5.18 permite cargar modelos NVFP4 en GPU AMD
El motor convierte los pesos a MXFP4 durante la carga sin mantener una copia completa en alta precisión.
Fecha de la fuente original:
Lo esencial
- SGLang 0.5.18 añade conversión de pesos NVFP4 a MXFP4 para GPU AMD durante la carga.
Pesos cuantizados entre plataformas
SGLang publicó la versión 0.5.18 con una ruta para ejecutar en GPU AMD modelos guardados con cuantización NVFP4 de ModelOpt o Quark. La carga descomprime y vuelve a cuantizar los pesos a MXFP4 sin conservar una copia completa en precisión alta. Es una ampliación de compatibilidad para servidores de inferencia.
Arranque y migración de servidores
La versión permite, de forma opcional, solapar la lectura de pesos con la captura de gráficos CUDA durante el arranque. También incorpora nuevas arquitecturas y actualiza la pila a PyTorch 2.13. Las cachés de kernels compilados pasan a un directorio común, por lo que el primer inicio puede requerir recompilación.