IA · Modelos · Ciencia · Anthropic · Claude · Seguridad
Anthropic estudia cómo enseñar razones éticas para reducir fallos de sus agentes
La compañía publica pruebas de entrenamiento que distinguen entre mejorar un examen y generalizar a situaciones diferentes.
Fecha de la fuente original:
Lo esencial
- La compañía publica pruebas de entrenamiento que distinguen entre mejorar un examen y generalizar a situaciones diferentes.
- Evaluación del propio equipo en escenarios ficticios; se distingue el resultado de una prueba de la generalización.
Razones además de ejemplos
Anthropic publicó resultados de sus experimentos de alineamiento posteriores al estudio de 2025 sobre chantaje en escenarios ficticios. El nuevo informe compara distintas formas de entrenamiento: ejemplos de conducta adecuada, explicaciones de sus razones, conversaciones sobre dilemas éticos y documentos basados en la constitución de Claude.
La diferencia entre examen y generalización
En una comparación interna, seleccionar respuestas que evitaban la conducta indebida redujo su frecuencia del 22% al 15%; incorporar deliberaciones sobre valores la llevó aproximadamente al 3%. La compañía también probó datos de consejos éticos alejados del formato del examen. El hallazgo central es metodológico: entrenar directamente para superar una prueba puede ocultar fallos que persisten en otras situaciones. Anthropic reconoce que sus auditorías todavía no descartan acciones autónomas graves y que la información pública sobre algunas pruebas podría contaminar evaluaciones de modelos posteriores.