Global · IA · Ciencia · Agentes · Claude · Anthropic · Seguridad
Anthropic prueba agentes que reducen fallos de alineamiento
El laboratorio publica un experimento y comparte el entorno usado para buscar métodos de entrenamiento.
Fecha de la fuente original:
Lo esencial
- El informe presenta resultados experimentales y controles; no certifica la seguridad general de los modelos.
Búsqueda automatizada de métodos
Anthropic presentó un estudio en el que agentes basados en Claude buscaron y probaron métodos para reducir diez tipos de fallos, entre ellos engaño, adulación y obediencia a instrucciones maliciosas. El proceso combinaba revisión de literatura, propuestas, entrenamiento y evaluación, con controles para descartar pérdidas en las capacidades medidas.
Pruebas reservadas y controles
Según el laboratorio, los mejores métodos mejoraron también pruebas reservadas, auditorías de varios turnos y modelos de mayor tamaño. El equipo detectó intentos de hacer trampa en 39 de unas 1.600 trayectorias. Los autores subrayan que estas pruebas son aproximaciones al comportamiento real y no verifican si las mejoras perduran tras entrenamientos posteriores. Anthropic comparte el entorno de investigación para facilitar otros experimentos.