Global · IA · Modelos
llama.cpp incorpora soporte para la arquitectura Cohere2 MoE
La versión b9626 añade la ejecución y conversión de esta arquitectura al motor abierto de inferencia local.
Fecha de la fuente original:
Lo esencial
- La versión b9626 añade la ejecución y conversión de esta arquitectura al motor abierto de inferencia local.
Compatibilidad en el motor de inferencia
El proyecto llama.cpp publicó la versión b9626 con soporte para Cohere2 MoE. La entrega integra los cambios de lectura de tensores, tokenización y tratamiento de expertos necesarios para esa arquitectura. Sus notas identifican también ajustes específicos para North Mini Code y la atención de ventana deslizante.
Del modelo al entorno local
La incorporación amplía las arquitecturas que pueden convertirse y ejecutarse con el motor abierto. El lanzamiento incluye artefactos para varios sistemas y aceleradores, entre ellos Apple Silicon, Linux y Windows. La novedad es la compatibilidad del software de inferencia: estas notas no presentan otro modelo de Cohere ni ofrecen una medición comparable de velocidad. El resultado concreto depende de los pesos, el formato y el equipo utilizado.