Ciencia · Global · IA · Kimi · Modelos · Moonshot AI
PerceptionBench abre 3.000 preguntas para evaluar la visión de modelos
La prueba de Moonshot separa diez capacidades perceptivas del razonamiento y conocimiento externos.
Fecha de la fuente original:
Lo esencial
- El conjunto reúne diez categorías y combina preguntas reconstruidas con ejemplos nuevos.
Una habilidad visual por pregunta
Moonshot publicó PerceptionBench, un conjunto de 3.000 preguntas que evalúa conteo, localización, lectura de texto, relaciones espaciales y otras capacidades visuales. Su diseño parte de errores observados en 42 pruebas anteriores y busca aislar una habilidad perceptiva por pregunta.
Resultados y datos abiertos
El 60% de las preguntas proviene de descomponer fallos atribuidos a modelos; el resto es de nueva elaboración. Según el equipo, ninguno de los 16 modelos evaluados alcanza 60% de precisión. Se liberan datos y código de evaluación; los resultados describen esta prueba deliberadamente exigente.