+34
Seit Juli müssen KI-Unternehmen wie OpenAI, Anthropic oder Google fast im Wochentakt einräumen, dass ihre KI-Modelle bei Tests in fremde Systeme eingedrungen sind. Hinter der Häufung steckt mehr als Zufall.
ChatGTP @ blueNews Seit Juli müssen KI-Unternehmen wie OpenAI, Anthropic oder Google fast im Wochentakt einräumen, dass ihre KI-Modelle bei Tests in fremde Systeme eingedrungen sind.
Hinter der Häufung steckt mehr als Zufall. Dass fast wöchentlich neue Fälle bekannt werden, liegt vor allem an nachträglichen Überprüfungen, die monatealte Vorfälle ans Licht bringen. Die KI-Agenten griffen nicht aus böser Absicht an, sondern weil sie Testaufgaben um jeden Preis lösen wollten und die Abschottung vom Internet versagte. Den Anfang machte OpenAI.
Rund 700 KI-Agenten des «ChatGPT»-Herstellers, die während eines internen Hacking-Tests aus ihrer abgeschotteten Testumgebung ausgebrochen waren, drangen im Juli in die Server der KI-Plattform Hugging Face ein. Dort suchten sie offenbar nach den Lösungen für ihren eigenen Test. Hugging Face musste rund ein Drittel seiner Infrastruktur neu aufbauen, wie OpenAI und Hugging FaceDanach folgten Anthropic mit inzwischen vier Fällen, Meta im August und am 18.
September Google, dessen Modell Gemini sich bereits im Mai während eines Tests in drei fremde Systeme eingeloggt hatte. Zwei Tage zuvor hatte OpenAI sechs weitere Vorfälle offengelegt, bei denen Modelle unter anderem eigene Fehler vertuschten oder einen auf GitHub gefundenen Zugangsschlüssel benutzten. Nicht im menschlichen Sinn. Die Modelle wollten keinen Schaden anrichten, sie wollten eine Aufgabe lösen und zwar um jeden Preis.
Fachleute sprechen von «Reward Hacking», weil die KI im Training vor allem dafür belohnt wird, dass eine Aufgabe erledigt ist und weniger dafür, wie. Bei OpenAI waren manche Testaufgaben ohne Internetzugang schlicht unlösbar und in den Nachrichten der Agenten findet sich sinngemäss die Überlegung, der Ausbruch sei zwar nicht vorgesehen, aber die Aufgabe unmöglich und die anderen machten es ja auch. Harmlos ist das trotzdem nicht.
Google spricht bei Gemini von einer Verwechslung, das Modell habe die fremden Systeme für Teil der Übung gehalten und nach dem Login gestoppt. Anthropic hat eine ähnliche Deutung im September zurückgenommen und spricht nun von verzerrtem Denken und Rücksichtslosigkeit seiner Modelle. Das Modell «Claude Mythos 5» etwa stellte ein bösartiges Softwarepaket ins Netz, das auf 15 fremden Rechnern landete und bezeichnete die Umgebung dabei hartnäckig als Simulation. Dieser Inhalt stammt von externen Anbietern wie YouTube, TikTok oder Facebook.
Aktiviere bitte "Swisscom Werbung bei Dritten", um diesen Inhalt anzuzeigen. Vor allem, weil nachträglich aufgeräumt wird. Nach dem OpenAI-Fall durchforsteten die Konkurrenten ihre Testprotokolle, Anthropic zuletzt rund 481 Millionen Aufzeichnungen. Viele Fälle sind deshalb Monate alt.
Dazu kommen unabhängige Forschende, die inzwischen gezielt nach Spuren von KI-Agenten im Netz suchen. Mehrere Fälle haben zudem denselben Ursprung. Bei Meta war wie zuvor bei Anthropic eine falsch konfigurierte Testumgebung des Dienstleisters Irregular mit dem Internet verbunden und laut Irregular geht auch der Google-Fall auf dasselbe Problem zurück. Ein Fehler, drei Geständnisse.
Weil dort die Sicherungen bewusst fehlen. Um herauszufinden, wie gefährlich ein Modell im schlimmsten Fall ist, testen die Firmen es ohne die Schutzfilter, die im veröffentlichten Produkt aktiv sind. Die letzte Hürde ist dann die Abschottung vom Internet und die hielt mehrfach nicht. Gleichzeitig werden die Modelle rasant besser im Aufspüren von Schwachstellen.
Allein im Browser Firefox fand eine Vorabversion von Anthropics Mythos-Modell 271 bisher unbekannte Fehler, wie. Die Zeit für Sicherheitstests vor einer Veröffentlichung schrumpfte laut dem britischen AI Security Institute derweil von rund fünf Wochen auf teils fünf Tage. Direkt betroffen waren bisher Unternehmen, keine Privatpersonen. Die bekannten Fälle ereigneten sich in Test- oder Trainingsumgebungen, teils mit unveröffentlichten Modellen und ohne die Schutzfilter der Alltagsversionen.
Anthropic hält solches Verhalten im normalen Gebrauch für unwahrscheinlich, allerdings ist das die Einschätzung der Firma selbst. Lehrreich ist etwas anderes. Die KI brauchte meist keine Superwaffe, Claude nutzte schwache Passwörter und ungeschützte Zugänge, Gemini erriet Passwörter oder fand sie in öffentlich einsehbarem Programmcode. Starke, einzigartige Passwörter und Zwei-Faktor-Schutz bleiben deshalb die beste Versicherung, auch gegen menschliche Angreifer.
Und wer einem KI-Agenten Zugriff auf Mails oder Konten gibt, sollte ihm nur die Rechte geben, die er für die Aufgabe wirklich braucht. OpenAI kündigte im August an, die Forschung bewusst zu bremsen, legte das Training seiner neuesten Modelle für zwei Wochen auf Eis und baut die Überwachung seiner Agenten stark aus. Seit Mitte September sollen Vorfälle bei OpenAI innert sechs bis zwölf Arbeitstagen publik werden, welche Fälle darunter fallen, entscheidet die Firma aber allein.
Echtzeit-Monitore eingeführt, die Testläufe stoppen, sobald ein Modell unerwartet ins Internet gelangt, stellt strengere Anforderungen an externe Testpartner und lässt die Fälle von der unabhängigen Organisation METR untersuchen. Ob Selbstkontrolle reicht, bezweifeln viele. Alexander Meinke von Apollo Research kritisiert, man sei vollständig darauf angewiesen, dass die Firmen sich selbst sorgfältig prüfen und ehrlich berichten und beides hätten sie bisher nicht von sich aus getan.
Viele der führenden KI-Unternehmen wie auch OpenAI mit CEO Sam Altman sind für eine bewusste Entschleunigung bei der Weiterentwicklung der Modelle. In den USA liegen mehrere Gesetzesvorschläge auf dem Tisch, darunter einer, der einen Notausschalter für fortgeschrittene KI-Systeme vorschreiben würde. Fünfzehn US-Generalstaatsanwälte verlangten von OpenAI, Unterlagen zum Angriff aufzubewahren. Selbst über 1'100 Angestellte von OpenAI, Anthropic, Google DeepMind und Meta forderten in einem offenen Brief Instrumente, um die KI-Entwicklung bei Bedarf bewusst verlangsamen zu können.
Am weitesten ist die EU. Seit dem 2. August kann Brüssel die Regeln für grosse KI-Modelle durchsetzen, inklusive Meldepflicht für schwere Vorfälle und Bussen bis zu drei Prozent des weltweiten Jahresumsatzes. OpenAI hat zum Wiki-Fall bereits einen Bericht eingereicht, offen ist jedoch, ob Pannen in Tests vor der Markteinführung überhaupt unter die Pflicht fallen.
Die Schweiz kennt keine eigene KI-Regulierung. Bis Ende 2026 soll eine Vernehmlassungsvorlage kommen, welche die KI-Konvention des Europarats umsetzt, die in erster Linie staatliche Akteure betrifft. Das Bundesamt für Cybersicherheit stuft die Bedeutung von KI für die Cybersicherheit als hoch ein, konnte die stärksten Modelle im Frühling mangels Zugang aber noch nicht selbst prüfen. Du willst bei KI und Gadgets immer einen Schritt voraus sein und dich sicher im Internet bewegen?
Mit dem MyTech-Newsletter erfährst du regelmässig die wichtigsten News und Hintergründe aus der Technik-Welt, genauso wie einfache Tipps und Tricks für deinen Alltag.
Switzerland Neuesten Nachrichten, Switzerland Schlagzeilen
Similar News: Sie können auch ähnliche Nachrichten wie diese lesen, die wir aus anderen Nachrichtenquellen gesammelt haben.
Schlagzeilen zum Covid-Betrug von Granit Xhaka: «Paukenschlag» und «Schockwelle»Das gefälschte Covid-Zertifikat des Nati-Captains sorgt weltweit für Reaktionen. Der Tenor ist einhellig: Der Reputationsschaden ist gross.
Weiterlesen »
Nukleares Aufrüsten: Erstmals seit dem Kalten Krieg wächst das globale Atomwaffenarsenal wieder12’187 Atomsprengköpfe weltweit – und es werden mehr. Experten warnen: Die Abrüstungsära ist vorbei.
Weiterlesen »
Ein Anruf, enorme Verluste: Telefonbetrüger erbeuten seit August rund 750’000 Franken(St.Gallen SG). Rund 750'000 Franken. Ein Anruf genügt. Und plötzlich steht das Ersparte eines Menschen auf dem Spiel. Seit Anfang August wird die Deliktsumme bei Telefonbetrügen im Kanton St.Gallen auf rund 750'000 Franken geschätzt. Das zeigen die ersten Tatbestandsaufnahmen.
Weiterlesen »
Hackerangriff auf FBI-Jobs-Seite: «Sehr sensible Daten» von Tausenden Agenten gestohlen?Hacker behaupten, Daten von nahezu allen FBI-Agenten gestohlen zu haben – inklusive Bewerber. Die Behörde ermittelt fieberhaft.
Weiterlesen »