Jakub Pachocki urge barras de seguridad compartidas en IA

⏱ Tiempo de lectura: 4 min

El científico jefe de OpenAI, Jakub Pachocki, publicó un ensayo el 6 de septiembre de 2026 titulado «An Alien Mind» donde sostiene que ningún laboratorio de IA ha resuelto adecuadamente la alineación y el monitoreo para escalar responsablemente. Pachocki advierte sobre la necesidad de desaceleraciones voluntarias y coordinación internacional en el desarrollo de IA, argumentando que la velocidad actual de progreso podría sostenerse hacia mejoras recursivas de igual o mayor magnitud.

Alineación y monitoreo: dos clases de entrenamiento

El ensayo distingue entre alineación de objetivos (si la IA intenta cumplir el objetivo asignado) y alineación de valores (capacidad intrínseca de mantener y generalizar principios de alto nivel). Pachocki identifica dos métodos de entrenamiento principales en uso: refuerzo del aprendizaje orientado a objetivos, que puede ser efectivo en casos promedio pero frágil ante desviaciones (cita el incidente OpenAI-Hugging Face como ejemplo); y generalización desde datos de preentrenamiento, cuya debilidad es la falta de robustez bajo presión de optimización extrema. Según resultados internos, GPT-6 Astra es el primer modelo que se beneficia de avances de alineación duraderos y es significativamente mejor alineado que GPT-5.6 Sol, aunque advierte que el progreso en alineación generalizable podría no superar el progreso en inteligencia general. Lee más sobre investigación en IA.

Monitoreo de cadena de pensamiento y desafíos emergentes

Pachocki identifica el monitoreo de cadena de pensamiento como la apuesta principal de OpenAI para validar empíricamente sus técnicas, pero señala que su confiabilidad está disminuyendo progresivamente. Cita tres razones: modelos de razonamiento modernos operan en ambientes más complejos; la IA mejora en razonar sobre su propio razonamiento; y el preentrenamiento mejorado hace modelos más inteligentes incluso sin razonamiento verbalizado. El ensayo menciona que o1-preview fue diseñado deliberadamente para ocultar la cadena de pensamiento. OpenAI persigue intervenciones para mejorar monitorabilidad, incluidos monitores con acceso directo a internals de red. Pachocki espera que el progreso general en IA sea cada vez más limitado por confianza en monitoreo. www.unite.ai.

Defensa, mejora recursiva y barras de seguridad compartidas

Pachocki argumenta que construir sistemas defensivos contra peligros de otras IAs es el argumento más fuerte para entrenar modelos más inteligentes rápidamente, particularmente en ciberseguridad donde modelos superhuma nos pueden comprometer sistemas críticos. Advierte que agentes capaces explícitamente entrenados para actos nefarios representan un peligro nuevo y probablemente cruzarán la intención del operador, difuminando el límite entre mal uso y acción autónoma desalineada. Rechaza la idea de avanzar a cualquier costo: «La idea de correr hacia adelante a toda costa parece absurda una vez que se internaliza la seriedad de las apuestas». En mejora recursiva, Pachocki señala que RSI de máquina estará en el núcleo del descubrimiento científico futuro y propone mantener personas en el proceso o coordinarse para desacelerar según sea necesario. Concluye que marcos como Preparedness de OpenAI y Responsible Scaling Policy de Anthropic deben evolucionar hacia barras de seguridad ampliamente mandatadas, aplicadas por auditores de terceros, agencias gubernamentales u organismos internacionales.

Aspecto	Detalle
Fecha del ensayo	6 de septiembre de 2026
Autor	Jakub Pachocki, científico jefe de OpenAI
Título del ensayo	«An Alien Mind»
Clases de entrenamiento	Alineación de objetivos y alineación de valores
Modelos mencionados	o1-preview, GPT-6 Astra, GPT-5.6 Sol
Métodos de validación	Monitoreo de cadena de pensamiento; confianza en disminución
Políticas comparadas	Preparedness Framework (OpenAI) y Responsible Scaling Policy (Anthropic)
Recomendación central	Establecer barras de seguridad compartidas con auditoría internacional

Preguntas frecuentes sobre seguridad en IA

¿Qué propone Pachocki para evitar escala irresponsable?

Desaceleraciones voluntarias hasta establecer barras de seguridad compartidas; coordinación internacional en gobiernos; marcos de seguridad mandatados con auditoría de terceros, agencias gubernamentales u organismos internacionales.

¿Por qué disminuye la confianza en monitoreo de cadena de pensamiento?

Pachocki cita tres razones: complejidad creciente de ambientes donde operan modelos de razonamiento; mejora en la capacidad de IA para razonar sobre su propio razonamiento; y preentrenamiento mejorado que genera inteligencia sin razonamiento verbalizado.

¿Cuál es la posición de Pachocki sobre mejora recursiva?

Considera que mejora recursiva será central en descubrimiento científico futuro. Propone como mejor camino actual una combinación de mantener personas en el proceso de desarrollo y coordinarse para desacelerar cuando sea necesario según confianza en monitoreo y alineación.

Qué conviene mirar de cerca

El ensayo marca una posición inusualmente cautelosa desde liderazgo científico de laboratorio principal. Pachocki rechaza explícitamente la narrativa de avance a cualquier costo y posiciona barras de seguridad compartidas no como ideal futuro, sino como condición actual para desarrollo responsable. La divergencia entre capacidades y confianza en monitoreo es el punto crítico que articula.

En Inteligencia Artificial, este ensayo representa un llamado formal a reimaginar gobernanza de IA desde dentro de centros de poder tecnológico. ¿Cuál es el precio real de esperar a que coordinación internacional madure mientras sistemas avanzan sin pausa?

Fuente: www.unite.ai