Global · IA · Ciencia · Software · RAG
HLLC propone comprimir documentos antes de indexarlos para reducir el trabajo de los sistemas RAG
Scientific Reports publica el estudio aceptado de un método que reutiliza los fragmentos abreviados entre consultas.
Fecha de la fuente original:
Lo esencial
- El índice comprimido puede reutilizarse sin reentrenar el buscador ni modificar el generador.
Compresión antes de la búsqueda
Scientific Reports publicó el 9 de agosto el manuscrito revisado por pares de HLLC, una técnica para sistemas que buscan documentos y los proporcionan a un modelo de lenguaje. El método selecciona tokens mediante señales lingüísticas, frecuencia de palabras y similitud semántica. La compresión ocurre antes de construir el índice, por lo que no necesita repetirse con cada pregunta.
Menos contexto con una contrapartida medible
El equipo de Aligarh Muslim University y University of Science and Technology evaluó seis modelos de pesos abiertos con RACE y QuALITY. Según sus resultados, una compresión moderada redujo contexto y latencia, a cambio de perder parte de la exactitud. Las pruebas consisten en preguntas de opción múltiple en inglés; todavía falta evaluar respuestas abiertas. La revista ofrece una versión aceptada pendiente de edición final.