IA
AWS e i14 prueban Laplace 3B con memoria recurrente fija
Otra arquitectura para conversaciones largas.
Fecha de la fuente original:
Hecho reportado: 2026-10-20
Lo esencial
- El estado recurrente ocupa 29,5 MB por secuencia, no toda la memoria del modelo.
- La implementación utiliza Trainium2 y PyTorch nativo.
- Comprimir el historial exige comprobar qué información puede recuperarse.
Qué cambia
AWS e i14 documentaron una adaptación de Laplace 3B. En lugar de ampliar continuamente la caché de claves y valores, resume el contexto en un estado fijo. Esto podría hacer más predecible la memoria necesaria para agentes con conversaciones prolongadas.
Qué midieron
Los autores reportan 11.544 tokens de salida por segundo con 1.280 secuencias concurrentes en una instancia trn2.48xlarge. Es una medición de inferencia bajo esa configuración, no una velocidad garantizada para cualquier aplicación.
Qué falta
El entrenamiento publicado llega a unos 44.000 millones de tokens, frente a una receta prevista de 100.000 millones. El informe procede de los participantes, sin réplica independiente. Un estado pequeño no garantiza recordar cada detalle: exige evaluar recuperación y calidad.