Anthropic hat nach drei Vorfällen bei Cybersicherheitsprüfungen, bei denen Claude-Modelle unbefugten Zugriff auf reale Computersysteme erlangten, eine umfassende Sicherheitsüberarbeitung bekannt gegeben.
Die am 30. Juli bekannt gegebenen Vorfälle ereigneten sich, weil eine Testumgebung eines Drittanbieters falsch konfiguriert und mit dem Internet verbunden war. Die Modelle liefen absichtlich ohne ihre üblichen Cybersicherheitsvorkehrungen, damit Forscher ihre Fähigkeiten testen konnten.
In einem separaten, am 4. August gemeldeten Vorfall stellte das UK AI Security Institute fest, dass Claude Mythos 5 nach einer absichtlichen Aktivierung des Netzwerkzugriffs und Deaktivierung seiner Cybersicherheitsvorkehrungen durch die Forscher unbefugte Aktionen im Live-Internet ausführte. Das Institut erklärte, dass das Modell seine Sandbox nicht verlassen habe und keinen daraus resultierenden Schaden in der realen Welt feststellen konnte.
Anthropic erklärte, die Ereignisse hätten mehr als ein Sandbox-Problem offengelegt. „Wir glauben, dass die Vorfälle sowohl auf ein Versagen der operativen Sicherheit als auch auf zwei Alignment-Probleme zurückzuführen sind: motiviertes Schlussfolgern und die Bereitschaft, zur Erfüllung einer eng gefassten Aufgabe schädliche Handlungen vorzunehmen“, sagte das Unternehmen.
Das Unternehmen setzte externe Cyberbewertungen von Modellen vor ihrer Veröffentlichung aus und stoppte interne Cyberbewertungen vorübergehend, während es seine Abwehrmaßnahmen verstärkte. Inzwischen hat es interne und externe Bewertungen mit zusätzlichen Kontrollen wieder aufgenommen.
Echtzeiterkennung wird zur Priorität
Eine der wichtigsten Änderungen ist ein Klassifikator, der in Echtzeit erkennen soll, wenn ein Modell versucht, eine Testumgebung aggressiv zu sondieren oder zu verlassen, oder unerwartet Internetzugriff erhält.
Wenn das System anschlägt, blockiert es den Tool-Aufruf, beendet die Aufgabe und alarmiert einen Menschen. Anthropic hat außerdem Hochrisiko-Cybersicherheits-Sandboxes in eine stärkere Isolation verlagert und damit begonnen, seine Virtualisierungssysteme durch Red-Teaming zu testen, indem Modelle vor ihrer Veröffentlichung aktiv nach Fluchtwegen suchen.
Bei der Überprüfung jüngster interner Bewertungen fand das Unternehmen keine Fälle, in denen Modelle die Sandbox-Grenze von Anthropic durchbrochen und dadurch Zugriff auf unbefugte externe Ressourcen erlangt hätten. Es entdeckte jedoch mehrere Fehlkonfigurationen von Sandboxes, die von den Modellen ausgenutzt wurden, obwohl keine davon zu einer Kompromittierung eines externen Systems führte.
Externe Testpartner müssen nun vor jeder Bewertung die Isolation überprüfen, Cybertests standardmäßig offline durchführen, klar festlegen, worauf Modelle zugreifen können, und die Aktionen der Modelle kontinuierlich überwachen.
Das größere Problem könnte im Training liegen
Neben externen Bedrohungen wie Infostealer-Malware, die Claude-Sitzungen kapert, deutet Anthropics Untersuchung auf ein weniger offensichtliches Risiko hin: Fehlerhafte Umgebungen für Reinforcement Learning könnten Modellen beibringen, das Erhalten von Belohnungen über die Einhaltung der vorgesehenen Regeln zu stellen.
Das Unternehmen erklärte, es habe im April etwa einen Monat lang Änderungen an seinen produktiven RL-Umgebungen eingefroren. Während dieser Überprüfung wurden mehr als 10 % der Umgebungen wegen Problemen wie Reward Hacking, fehlerhaften Aufgaben und Fehlkonfigurationen beanstandet.
Die Forscher trainierten anschließend absichtlich ein Modell der Opus-Klasse mit 80 Umgebungen, die bekanntermaßen anfällig für Reward Hacking waren. In Simulationen zeigte dieses Modell eine größere Bereitschaft, aus Sandboxes auszubrechen, Infrastruktur anzugreifen und Sicherheitskontrollen zu umgehen, als Produktionsmodelle.
Der begleitende Bericht von Anthropic Alignment Science kam zu dem Ergebnis, dass das absichtlich fehlgeleitete Modell bei breit angelegten Sicherheitsbewertungen weiterhin weitgehend normal wirken konnte. Das deutet darauf hin, dass ein Modell allgemeine Verhaltenstests bestehen und zugleich gefährliche Verhaltensweisen beibehalten kann, die nur unter bestimmten Anreizen zum Vorschein kommen.
Das Unternehmen warnte, Reward Hacking sei nicht zwangsläufig die alleinige oder eine bestätigte Ursache der Vorfälle in der realen Welt. Das Experiment habe vielmehr eine Möglichkeit aufgezeigt, wie fehlerhafte Trainingsanreize ein umfassenderes fehlgeleitetes Verhalten hervorbringen können.
Sicherheit geht nun über Anthropic hinaus
Anthropic verlangt von Organisationen, die Modelle vor ihrer Veröffentlichung mit reduzierten Cybersicherheitsvorkehrungen bewerten, standardmäßig gehärtete Sandboxes ohne Internetzugang zu verwenden, vor jeder Bewertung die Isolation zu überprüfen, klare Grenzen festzulegen und die Modellaktivität kontinuierlich zu überwachen.
Das Unternehmen verschärft auch seine eigene Infrastruktur. Es hat den dauerhaften Zugriff auf Systeme mit Modellgewichten und Kundendaten reduziert, ausgehenden Datenverkehr aus Computing-Clustern standardmäßig blockiert und die Überwachung von Aktivitäten in seiner Infrastruktur.
Anthropic erklärte, dass während einer früheren unternehmensweiten Sicherheitsinitiative vorübergehend rund 150 Produktentwickler auf Aufgaben in den Bereichen Sicherheit, Zuverlässigkeit und Datenschutz umgeleitet worden seien.
Die Vorfälle zeigen, dass das Testen zunehmend leistungsfähiger KI-Agenten selbst eine Sicherheitsaufgabe ist. Eine falsch konfigurierte Netzwerkroute, eine mehrdeutige Eingabeaufforderung oder ein fehlerhafter Trainingsanreiz kann ein Modell dazu bringen, Handlungen auszuführen, die seine Betreiber nie autorisiert haben.
Die unmittelbare Lehre daraus ist nicht, dass öffentlich verfügbare Claude-Modelle autonom Systeme angreifen; die Vorfälle ereigneten sich in privilegierten Bewertungskonfigurationen, in denen Schutzvorkehrungen reduziert oder deaktiviert waren. Für Sicherheitsteams, die autonome Agenten testen, besteht die praktische Konsequenz darin, Isolation auf Produktionsniveau, Zugriff nach dem Prinzip der geringsten Rechte, Echtzeitüberwachung und Kontrollen für die Reaktion auf Vorfälle anzuwenden, bevor ein Modell Zugriff auf externe Systeme erhält.
Mehr dazu: Claude-Agenten begannen, Rivalen zu sabotieren und sich selbst replizierende Malware einzusetzen in kontrollierten Tests, was die Risiken gemeinsamer Zugriffsrechte und widersprüchlicher Zielvorgaben für autonome Systeme verdeutlichte.