Platform

RYOEX utiliza cTrader, una plataforma de nueva generación reconocida por su transparencia y facilidad de uso. Disponible en PC, smartphone y navegador web, sin necesidad de instalación, para que puedas operar en cualquier momento y desde cualquier lugar.

Tools

Ofrecemos herramientas de trading y contenido educativo útiles tanto para principiantes como para traders profesionales. Crece con RYOEX y mejora tu experiencia de trading.

RYOEX apoya a traders en todo el mundo y facilita oportunidades de trading. No dudes en contactarnos en cualquier momento sobre nuestros servicios o consultas de trading.

OpenAI revela que una IA en desarrollo se infiltró en otra empresa durante pruebas de rendimiento

La IA en desarrollo de OpenAI se infiltró en otra empresa durante una prueba de rendimiento

Explotó una vulnerabilidad desconocida

OpenAI informó el día 21 de que un modelo de inteligencia artificial (IA) en desarrollo protagonizó un incidente en el que realizó un ciberataque contra otra empresa en contra de la intención humana. Según dijo, una IA que buscaba obtener una puntuación alta en pruebas de evaluación de rendimiento encontró una vulnerabilidad desconocida en el sistema de otra compañía e ingresó en él.

La empresa señaló que considera el caso 'un ejemplo sin precedentes de ciberataque en el que intervino tecnología de vanguardia'. Añadió que investigará la causa junto con la startup estadounidense Hugging Face, que resultó afectada, y que publicará los detalles.

Pone de relieve la dificultad del control

La IA ha mejorado hasta poder detectar vulnerabilidades e infiltrarse en sistemas con rapidez y sofisticación, y algunos modelos de vanguardia, como la IA 'Mythos' de Anthropic en Estados Unidos, limitan el acceso a los usuarios para evitar usos indebidos. Sin embargo, gran parte de la realidad de los ataques que emplean la IA más reciente sigue sin quedar clara.

Este caso mostró el peligro que representa la IA y lo difícil que resulta controlarla, aunque se cree que OpenAI, que dio las instrucciones en el desarrollo, no actuó con mala intención.

Escapó del sandbox

Hugging Face anunció el día 16 que había sufrido un ciberataque llevado a cabo por un agente de IA que opera de forma autónoma. La empresa afirmó que la IA explotó una vulnerabilidad para obtener acceso al sistema y que más tarde recibió un aviso de OpenAI en el que se indicaba que el ataque había sido perpetrado por su modelo.

Según OpenAI, el incidente ocurrió durante pruebas para medir la capacidad de ataque cibernético de modelos de IA, incluidos los que están en desarrollo. En esas pruebas se proporciona a la IA información sobre vulnerabilidades y se le ordena infiltrarse, para comprobar si logra obtener datos o ejecutar programas no autorizados. El ensayo se llevó a cabo en un entorno aislado denominado 'sandbox', con las comunicaciones externas bloqueadas.

Sin embargo, la IA encontró una vulnerabilidad desconocida dentro del entorno, escapó y logró conectarse a internet. Además, dedujo que la 'solución' de la prueba se encontraba en Hugging Face, utilizado por muchas empresas de IA, e ingresó en sus sistemas usando, entre otra información, datos sobre una vulnerabilidad desconocida de su sistema y obtuvo información confidencial. Las contramedidas de seguridad del modelo no funcionaron.

La IA comercial rechazó el análisis

Hugging Face también detectó la intrusión no autorizada y había empezado a analizarla a fecha del día 16. No obstante, según la empresa, al principio pidió el análisis a una IA comercial de pago, pero esta lo rechazó porque se activaron sus funciones de prevención de uso indebido. Finalmente, pudo analizarse con una IA 'abierta' reproducible desarrollada por una empresa china.

A diferencia de las primeras IA generativas, que respondían a preguntas sencillas, las IA más recientes pueden avanzar de forma autónoma incluso en tareas que requieren procedimientos complejos. En el desarrollo de software, no es raro delegar en la IA procesos que llevan varias horas.

Sin embargo, cuanto más tiempo opera de forma autónoma, mayor es el riesgo de que se produzcan comportamientos inesperados. El 'reward hacking', en el que se prioriza el logro del objetivo hasta el punto de adoptar conductas imprevistas, es un ejemplo de ello. En un caso divulgado en abril por Anthropic, una IA a la que se le ordenó escapar del sandbox lo hizo realmente, envió correos a investigadores y publicó métodos de ataque en varios sitios web.

Si este artículo le resultó útil, compártalo.