.jpg){kind=link}
Global · IA · Código abierto · Agentes
llama.cpp incorpora decisiones estructuradas para agentes que funcionan localmente
Una nueva interfaz asigna probabilidades a opciones definidas sin generar una respuesta extensa.
Fecha de la fuente original:
Hecho reportado: 2026-10-02
Lo esencial
- La interfaz local devuelve probabilidades para opciones definidas en una sola pasada.
- Admite selección, puntuaciones y preguntas sí/no; algunos modelos también reciben imágenes.
- Pruebas de uso muestran que una respuesta muy confiada todavía puede ser incorrecta.
Opciones concretas para agentes
ggml.org incorporó modelos de decisión a llama.cpp mediante /v1/systemone. La aplicación envía el estado de una tarea y preguntas; el modelo puntúa respuestas posibles sin redactar texto libre. Puede utilizarse para clasificar solicitudes, comprobar una acción o elegir la siguiente herramienta de un agente.
La forma de preguntar importa
La interfaz admite elegir opciones, puntuar una escala o estimar la probabilidad de una respuesta afirmativa. Algunas variantes aceptan imágenes. El equipo recomienda describir las alternativas y ajustar los umbrales por modelo: una misma solicitud ambigua puede producir niveles de confianza diferentes según el sistema empleado.
Pruebas locales y límites
Terence Luk probó Laya y OpenJev en un portátil de 128 GB. Documentó diferencias de rapidez, errores con confianza alta y sensibilidad a la redacción de las preguntas. Sus pruebas posteriores al anuncio ilustran condiciones concretas de uso, no una garantía general. Las licencias también difieren: Laya usa Apache 2.0 y OpenJev restringe el uso comercial.