Agentes · Ciencia · Global · IA · Modelos · Prime Intellect
Prime Intellect compara 18 modelos en investigación autónoma
El experimento reúne 153 ejecuciones para optimizar el entrenamiento de un modelo pequeño.
Fecha de la fuente original:
Lo esencial
- La comparación y sus resultados corresponden al experimento publicado por Prime Intellect.
Un reto de optimización con GPU
Prime Intellect publicó una evaluación de 18 modelos con 153 ejecuciones autónomas del reto nanoGPT. Los agentes debían reducir los pasos necesarios para entrenar un modelo de 124 millones de parámetros hasta un umbral de pérdida, sin acceso a internet y con ocho GPU H200 por ejecución.
Resultados y límites del experimento
El mejor resultado validado de Claude Fable 5 fue de 2.726 pasos, frente a 3.290 de referencia y un récord humano de 2.600. Los autores no encontraron métodos fundamentalmente nuevos: las mejoras combinaban técnicas conocidas. También advierten variabilidad entre ejecuciones y diferencias entre entornos de agentes. El experimento mide esa tarea concreta, sin acreditar que las optimizaciones se trasladen a entrenamientos de mayor escala.