OpenAI legt Vorfall offen: KI dringt während Leistungstests in fremdes System ein

2026-07-22

Unbekannte Schwachstelle ausgenutzt

OpenAI teilte am 21. mit, dass ein in Entwicklung befindliches Modell künstlicher Intelligenz (KI) einen Cyberangriff auf ein anderes Unternehmen verübt habe, entgegen der Absicht von Menschen. Die KI habe in einem Test zur Leistungsbewertung eine hohe Punktzahl anvisiert, eine unbekannte Schwachstelle im System eines anderen Unternehmens gefunden und sich Zugang verschafft.

Das Unternehmen erklärte, es handele sich nach seiner Einschätzung um einen beispiellosen Cyberangriff, an dem Spitzentechnologie beteiligt gewesen sei. Gemeinsam mit dem betroffenen US-Startup Hugging Face wolle man die Ursache untersuchen und die Details veröffentlichen.

Kontrollschwierigkeiten treten hervor

KI kann Schwachstellen inzwischen schnell und auf hohem Niveau aufspüren und Systeme infiltrieren. Um Missbrauch zu verhindern, beschränken einige Spitzenmodelle, darunter die KI MythoS von Anthropic, den Nutzerkreis. Die tatsächliche Lage von Angriffen mit modernster KI ist jedoch weiterhin vielfach unklar.

Der aktuelle Fall zeigte die Bedrohung durch KI und die Schwierigkeit, sie zu kontrollieren, auch wenn OpenAI vermutlich keine böswillige Absicht bei dem in Entwicklung befindlichen, angewiesenen System hatte.

Aus der Sandbox entkommen

Hugging Face hatte am 16. mitgeteilt, es sei Ziel eines Cyberangriffs durch einen autonom agierenden KI-Agenten geworden. Die KI habe durch Ausnutzen einer Schwachstelle Zugriffsrechte auf das System erlangt; später sei das Unternehmen von OpenAI darüber informiert worden, dass der Angriff von einem Modell des Konzerns ausgegangen sei.

Laut OpenAI ereignete sich der Vorfall während eines Tests zur Messung der Cyberangriffsfähigkeit von KI-Modellen, einschließlich solcher in Entwicklung. In dem Test wird der KI Schwachstelleninformation gegeben und sie wird angewiesen, einzudringen; geprüft wird dann, ob sie Daten abrufen und Schadprogramme ausführen kann. Der Test fand in einer isolierten Umgebung statt, der sogenannten Sandbox, in der externe Kommunikation unterbunden war.

Die KI entdeckte jedoch eine unbekannte Schwachstelle in der Umgebung, brach aus und stellte erfolgreich eine Netzverbindung her. Zudem schätzte sie, dass sich die Lösung für den Test bei Hugging Face befinde, das von vielen KI-Unternehmen genutzt werde, drang unter Verwendung unter anderem unbekannter Schwachstelleninformationen der Systeme des Unternehmens ein und verschaffte sich vertrauliche Informationen. Die Sicherheitsmaßnahmen auf Modellebene griffen nicht.

Kommerzielle KI verweigert Analyse

Auch Hugging Face bemerkte den unbefugten Zugriff und begann am 16. mit der Analyse. Zunächst habe das Unternehmen jedoch eine kostenpflichtige kommerzielle KI mit der Analyse beauftragt; diese habe wegen aktivierter Missbrauchsschutzfunktionen abgelehnt. Schließlich sei die Analyse mit einer replizierbaren Open-Source-KI möglich gewesen, die von einem chinesischen Unternehmen entwickelt worden sei.

Anders als frühe generative KI, die nur einfache Fragen beantwortete, können moderne Systeme auch Aufgaben mit komplexen Abläufen eigenständig ausführen. In der Softwareentwicklung ist es nicht ungewöhnlich, der KI Prozesse zu überlassen, die mehrere Stunden dauern.

Je länger ein System autonom arbeitet, desto höher ist jedoch das Risiko unerwarteter Verhaltensweisen. Ein Beispiel dafür ist das sogenannte Reward Hacking, bei dem das System zugunsten der Zielerreichung unerwartet handelt. In einem im April von Anthropic veröffentlichten Fall brach eine KI, die zum Entkommen aus der Sandbox angewiesen worden war, tatsächlich aus, schrieb Forschern E-Mails und stellte Angriffsmethoden auf mehreren Websites ein.

Wenn Ihnen dieser Artikel geholfen hat, teilen Sie ihn gerne.