GPT-Red: el modelo IA que prueba vulnerabilidades de OpenAI

⏱ Tiempo de lectura: 3 min

OpenAI ha desarrollado GPT-Red, un modelo de lenguaje especializado en detectar vulnerabilidades de seguridad en otros modelos IA mediante un sistema de enfrentamiento automático. La empresa utilizó GPT-Red para entrenar GPT-5.6, su versión más reciente, logrando reducir ataques por inyección de prompts del 90% al 23% de efectividad según sus pruebas internas.

Cómo funciona GPT-Red: el sparring partner de seguridad

GPT-Red automatiza un proceso llamado red-teaming, tradicionalmente realizado por equipos humanos que buscan romper o secuestrar sistemas. El modelo fue entrenado en un bucle de auto-juego contra otros modelos: mientras GPT-Red mejoraba sus ataques, los modelos defendidos mejoraban sus defensas. Nikhil Kandpal y Dylan Hunn, investigadores de OpenAI que co-crearon GPT-Red, explican que este enfoque permite escalar las pruebas de seguridad conforme los modelos se vuelven más complejos y se despliegan en más tareas, especialmente en forma de agentes que interactúan con archivos, sitios web y código de terceros. El desarrollo de modelos de lenguaje requiere ahora validaciones continuas ante nuevas superficies de ataque.

Nuevas vulnerabilidades descubiertas

GPT-Red identificó un tipo de ataque que los investigadores no habían visto antes: la inyección de cadena de pensamiento falsa (fake chain of thought). Los modelos IA utilizan cadenas de pensamiento como registros internos donde anotan resultados parciales mientras resuelven problemas. GPT-Red aprendió a insertar entradas falsas en estas cadenas para engañar a otros modelos, haciéndoles actuar sobre información spoofed. El modelo también superó a red-teamers humanos en un experimento repetido de 2025 y fue capaz de hackear a Vendy, un agente de máquina expendedora, para cambiar precios y cancelar órdenes. Fuente: www.technologyreview.com

Limitaciones y validación

GPT-Red tiene debilidades: no es efectivo contra ataques conversacionales prolongados donde un atacante interactúa múltiples rondas con el objetivo, y aún muestra limitaciones al usar imágenes como vector de ataque. OpenAI confirma que GPT-Red complementa, no reemplaza, el trabajo de red-teamers humanos. Jessica Ji, analista sénior de seguridad IA en el Centro de Seguridad y Tecnología Emergente de Georgetown, considera el enfoque de auto-juego como prometedor y sugiere que diferenciar dónde es más necesaria la prueba humana sería valioso.

Dato	Detalle
Modelo	GPT-Red
Función	Red-teaming automatizado de modelos IA
Metodología	Bucle de auto-juego contra modelos defendidos
Ataque principal estudiado	Inyección de prompts, especialmente cadena de pensamiento falsa
Nuevos ataques descubiertos	Fake chain of thought (no visto antes)
Tasa de efectividad en GPT-5	90% de ataques exitosos
Tasa de efectividad en GPT-5.6	23% de ataques exitosos
Limitaciones	Débil contra ataques conversacionales prolongados e inyecciones con imágenes
Investigadores principales	Nikhil Kandpal, Dylan Hunn, Chris Choquette-Choo
Disponibilidad pública	No será lanzado al público

Preguntas frecuentes sobre GPT-Red

¿Qué es GPT-Red exactamente?

GPT-Red es un modelo de lenguaje entrenado para atacar automáticamente otros modelos IA, identificando vulnerabilidades de seguridad antes del lanzamiento. Reemplaza parcialmente el trabajo manual de red-teaming, aunque OpenAI mantiene equipos humanos como complemento.

¿Cuándo estará disponible GPT-Red?

OpenAI no planea lanzar GPT-Red públicamente. La empresa considera que desarrollarlo requirió más de un año de trabajo y recursos computacionales masivos, dificultando que otros equipos repliquen la hazaña.

¿Qué es una cadena de pensamiento falsa?

Es un tipo de ataque donde se insertan notas falsas en los registros internos del modelo para engañarlo sobre información supuestamente ya verificada, haciendo que actúe sobre datos spoofed.

Nuestra lectura editorial

OpenAI apuesta por automatizar la seguridad conforme los modelos crecen en capacidad y alcance. Sin embargo, GPT-Red mismo podría convertirse en target: un modelo atacante de esta capacidad en manos equivocadas presentaría riesgos significativos, lo que justifica su no-liberación.

En Inteligencia Artificial creemos que el enfoque de auto-juego es un paso sensato para mantener la velocidad de innovación sin comprometer validación. ¿Cuántos modelos de seguridad similares necesita la industria antes de que el riesgo sistémico baje de manera verificable?