Global · IA · Software · Inferencia · llama.cpp · DeepSeek · Chips
llama.cpp incorpora un operador de DeepSeek y optimizaciones para Adreno
Dos entregas del motor de inferencia mejoran componentes de ejecución local en una actualización conjunta.
Fecha de la fuente original:
Lo esencial
- llama.cpp añade un operador especializado de DeepSeek y optimizaciones de procesamiento para GPU Adreno.
Un operador especializado de DeepSeek
llama.cpp publicó un operador específico para el Lightning Indexer de DeepSeek V3.2 y V4. La entrega b9970 incorpora su implementación en GGML y la conecta con ambos modelos, junto con pruebas del tratamiento de máscaras. El cambio afecta al motor que ejecuta los modelos, sin constituir una nueva versión de DeepSeek.
Procesamiento inicial en GPU Adreno
La entrega b9968 del mismo día añade optimizaciones OpenCL para procesar la entrada inicial en GPU Adreno, tanto con modelos densos como con mezcla de expertos. Ambas novedades se reúnen aquí como una actualización del sistema de inferencia local. Las notas describen los cambios de implementación, sin cuantificar una mejora universal de velocidad.