Global · IA · Software · Entrenamiento · GPU
White Circle actualiza Halo para acelerar el entrenamiento distribuido de IA
Halo 1.1.0 incorpora optimizaciones para modelos MoE y controles de reanudación de trabajos.
Fecha de la fuente original:
Lo esencial
- Gemma 4 alcanza 1,67 veces el rendimiento previo con dos GPU, según White Circle.
- Los controles interrumpen reanudaciones inconsistentes.
- Los guardados mantienen compatibilidad con Hugging Face.
Más eficiencia en el entrenamiento
White Circle fechó el 11 de octubre la actualización 1.1.0 de Halo, su infraestructura para entrenar modelos de lenguaje y multimodales sobre Hugging Face. La versión incorpora operaciones fusionadas para modelos de mezcla de expertos y FlexAttention en capas con ventana deslizante. El equipo reporta 1,67 veces el rendimiento de Halo 1.0.0 al entrenar Gemma 4 26B-A4B con dos GPU.
Recuperación y aprendizaje por refuerzo
La actualización añade comprobaciones de puntos de guardado y reanudación que detienen ejecuciones inconsistentes, además de cambios en la sincronización LoRA y en el aprendizaje por refuerzo asíncrono. El código se distribuye bajo la licencia Halo, basada en Apache 2.0 con condiciones suplementarias; no es una licencia Apache sin modificaciones.
Integración existente
Halo añade paralelismo al modelo de Hugging Face, sin implementación distribuida separada. Los puntos de guardado conservan el formato SafeTensors y pueden cargarse con from_pretrained, facilitando su reutilización.