Global · IA · Modelos
Google detalla cómo acelera Gemini Nano sin volver a entrenar su base
La arquitectura añade un predictor ligero que comparte el contexto del modelo principal para reducir trabajo redundante en el teléfono.
Fecha de la fuente original:
Lo esencial
- La arquitectura añade un predictor ligero que comparte el contexto del modelo principal para reducir trabajo redundante en el teléfono.
Predecir varios tokens y comprobarlos
Google Research presentó los detalles de una arquitectura de predicción de múltiples tokens para Gemini Nano v3. El equipo conserva los pesos del modelo principal y entrena una cabeza ligera añadida a sus capas finales. Esta propone una secuencia de candidatos que el modelo verifica en paralelo, descartando las divergencias. Según Google, el procedimiento conserva la salida del modelo base mientras reduce el trabajo necesario para generarla.
Compartir la memoria ya calculada
La cabeza predictora consulta directamente la caché de contexto del modelo principal. Los autores comunican un ahorro de hasta 130 megabytes frente a un predictor independiente en su comparación, al evitar estructuras duplicadas. La explicación técnica describe una actualización ya distribuida recientemente a Pixel 9 y 10, aplicada a funciones como resúmenes de notificaciones y revisión de texto; el 26 de junio corresponde a su presentación pública detallada, no al inicio exacto del despliegue. El equipo mantiene como investigación futura variantes con decodificación paralela y criterios de verificación más flexibles.