IA · Modelos · Ciencia · Microsoft · Código abierto
Microsoft comparte una revisión de Differential Transformer para mejorar su entrenamiento
DIFF V2 modifica la atención y publica código experimental; sus ensayos de gran escala continuaban en marcha.
Fecha de la fuente original:
Lo esencial
- DIFF V2 modifica la atención y publica código experimental; sus ensayos de gran escala continuaban en marcha.
- El nuevo código sigue en fase experimental y sus resultados proceden del equipo investigador.
Cambios en el mecanismo de atención
Investigadores de Microsoft presentaron Differential Transformer V 2 y compartieron su implementación experimental. La revisión reorganiza las cabezas de atención para utilizar FlashAttention sin núcleos personalizados y elimina una normalización que, según los autores, podía desestabilizar etapas avanzadas del entrenamiento. El código inicial y la publicación están fechados el 20 de enero.
Resultados todavía preliminares
El equipo informó de menor pérdida de modelado del lenguaje y menos picos de gradientes en sus experimentos con modelos densos y de mezcla de expertos. Los ensayos seguían abiertos: la eficiencia del entrenamiento posterior y el rendimiento con contextos largos aún quedaban por evaluar. Es una revisión del método Differential Transformer divulgado en 2024, no la publicación de un modelo de conversación terminado.