IA · Modelos · Google · Gemma · IA local
Google añade modelos auxiliares a Gemma 4 para acelerar la generación
Los borradores MTP predicen varios tokens y dejan al modelo principal la verificación final.
Fecha de la fuente original:
Lo esencial
- Los borradores MTP predicen varios tokens y dejan al modelo principal la verificación final.
Borradores ligeros, verificación del modelo principal
Google liberó modelos auxiliares de predicción de múltiples tokens para la familia Gemma 4. Estos borradores ligeros anticipan varias piezas de una respuesta y el modelo principal las comprueba en paralelo, en lugar de generar todo estrictamente token por token.
Las mejoras dependen de la carga de trabajo
Los pesos están disponibles con licencia Apache 2.0. Google comunica aceleraciones de hasta tres veces en sus pruebas, cuyo resultado depende del hardware, la variante y el número de peticiones simultáneas. Por ejemplo, advierte de dificultades de enrutamiento del modelo 26B de expertos en Apple Silicon con una sola petición; agrupar varias permite aprovechar mejor el enfoque.