Global · IA · Modelos · OpenAI · GPT · Ciencia · Seguridad
OpenAI detalla GPT-Red para entrenar defensas contra instrucciones maliciosas
El modelo de investigación genera ataques con los que se refuerzan otros sistemas.
Fecha de la fuente original:
Lo esencial
- GPT-Red automatiza la generación de ataques para reforzar modelos antes de su despliegue.
Ataque y defensa durante el entrenamiento
OpenAI presentó públicamente GPT-Red, un modelo de uso interno que busca vulnerabilidades y produce ataques de inyección de instrucciones. Se entrena mediante aprendizaje por refuerzo: el atacante y varios modelos defensores mejoran al enfrentarse en escenarios que simulan páginas, archivos y respuestas de herramientas manipulados.
Resultados comunicados por OpenAI
La compañía explica que utilizó esos ataques en el entrenamiento de GPT-5.6. Reporta seis veces menos fallos en su prueba más exigente de inyección directa frente a su mejor modelo de producción de cuatro meses antes. El resultado corresponde a esa evaluación interna. GPT-Red permanece separado de los modelos distribuidos y complementa las pruebas humanas y otras salvaguardas.