IA · Ciencia · Infraestructura IA · Aalto · Alibaba
BAT reutiliza memoria para acelerar recomendadores generativos
El trabajo de Zhejiang, Alibaba, Hong Kong, NUS y Aalto aparece en las actas de ASPLOS.
Fecha de la fuente original:
Lo esencial
- El trabajo de Zhejiang, Alibaba, Hong Kong, NUS y Aalto aparece en las actas de ASPLOS.
- Las pruebas usan modelos de entre 1.000 y 7.000 millones de parámetros y cargas parcialmente sintéticas; algunas configuraciones reducen la calidad.
Compartir cálculos de productos
ASPLOS publicó BAT, un sistema para servir recomendadores generativos que alterna entre información del usuario y del producto al iniciar cada consulta. Esa reorganización permite reutilizar cálculos almacenados de productos entre distintos usuarios. El equipo combina esa atención bipartita con una caché distribuida y un planificador que considera la frecuencia de acceso.
Rendimiento y calidad de recomendación
En sus pruebas, los investigadores reportan hasta 1,6 veces más consultas procesadas que con la estrategia de colocar siempre al usuario como prefijo. La evaluación emplea datos de Amazon y una carga sintética derivada de comercio electrónico. La calidad de las recomendaciones cae en algunas combinaciones de modelo y datos; elegir el prefijo requiere considerar ese efecto, además de la memoria y la red.