Global · IA · Inferencia · Software · Programación · Búsqueda · Qwen
llama.cpp permite dividir documentos largos en lotes para rerankers causales
La compilación preliminar b11223 elimina una restricción del servidor para modelos de reordenamiento basados en decodificadores como Qwen3.
Fecha de la fuente original:
Lo esencial
- Actualización del motor de inferencia publicada como versión preliminar.
Una restricción del procesamiento de entradas
El equipo de llama.cpp publicó una compilación preliminar que permite procesar por fragmentos las entradas de modelos causales utilizados para reordenar resultados de búsqueda. Antes, el servidor rechazaba las entradas de este tipo que excedían el tamaño del lote físico, lo que dificultaba trabajar con documentos largos.
El comportamiento depende de la atención
El cambio consulta el tipo de atención efectivo durante la ejecución, incluso si fue modificado mediante opciones del programa. Los modelos bidireccionales, como BERT, mantienen la necesidad de recibir sus tokens juntos; los decodificadores causales pueden dividir el procesamiento inicial. La propuesta se abrió el 14 de septiembre y se integró en el proyecto principal el 27, cuando apareció b11223.