IA · Agentes · Andrej Karpathy · Claude · Investigación · Programación
Karpathy publica un registro de 126 experimentos automáticos con autoresearch
El reporte describe una sesión de Claude que ajustó un modelo pequeño y comparó sus cambios bajo un presupuesto fijo de entrenamiento.
Fecha de la fuente original:
Lo esencial
- El reporte describe una sesión de Claude que ajustó un modelo pequeño y comparó sus cambios bajo un presupuesto fijo de entrenamiento.
- El resultado corresponde a una sesión exploratoria y a una métrica de validación en un equipo concreto; no garantiza mejoras en tareas generales.
Ajustes automáticos bajo un presupuesto fijo
La cuenta de Andrej Karpathy publicó un informe generado por un agente de autoresearch sobre 126 experimentos de entrenamiento. Según el registro, Claude trabajó unas diez horas y media con una GPU H100 de 80 GB: conservó 23 configuraciones, descartó 102 y registró un fallo. Los ajustes incluyeron el tamaño de los lotes, la inicialización y la regularización de parámetros.
Una métrica de validación, con resultados exploratorios
La mejor pérdida de validación bajó de 0,9979 a 0,969686 bits por byte en ese entorno. Autoresearch modifica un archivo de entrenamiento, ejecuta pruebas de cinco minutos y conserva los cambios que mejoran la métrica. Es un resultado exploratorio comunicado por su creador, sin revisión por pares ni evaluación independiente. El objetivo medido es rendimiento por cómputo; el reporte no presenta pruebas de tareas generales.