Anthropic gewährt externen KI-Sicherheitsforschern Zugriff auf seine internen Systeme auf einem Niveau, das normalerweise Mitarbeitern vorbehalten ist.
Das Unternehmen gab am 15. Oktober bekannt, dass es sechs Mitarbeiter von METR eingestellt hat – einer gemeinnützigen Organisation, die modernste KI-Modelle bewertet. Sie erhalten Unternehmenshardware, Büroräume und Zugriff auf interne Tools, der mit dem ihrer Anthropic-Kollegen in den hauseigenen Teams zur Risikobewertung vergleichbar ist.
Abgesehen von einer begrenzten Zahl von Kategorien (Kundendaten, Informationen, die dem Anwaltsgeheimnis unterliegen, sowie Details zur Modellarchitektur) werden Anthropic-Mitarbeiter dazu angehalten, Informationen mit den METR-Mitarbeitern genauso zu teilen wie mit Kollegen, die an Alignment-Risiken arbeiten, wie das Unternehmen in einem Blogbeitrag sagte.
METR kann seine Erkenntnisse zu den Risiken von Anthropic, Vorfällen und Sicherheitspraktiken ohne vorherige Genehmigung des Unternehmens veröffentlichen.
Anthropic behält sich das Recht vor, in diesen vordefinierten Kategorien Schwärzungen zu verlangen. METR kann jedoch öffentlich infrage stellen, ob diese Schwärzungen gerechtfertigt waren, und hat damit eine gewisse Möglichkeit, Beschränkungen der offenzulegenden Informationen anzufechten.
„Im Einklang mit unseren Transparenzrichtlinien wird unser Bericht den Umfang, den Zugriff und andere Einschränkungen unserer Arbeit offen beschreiben“, erklärte METR laut Reuters.
Ein abgestuftes System für die Prüfung
Anthropic führt für externe Prüfer der KI-Sicherheit drei Zugriffsebenen mit unterschiedlichen Regeln dafür ein, was Forscher untersuchen und veröffentlichen dürfen.
Die erste Ebene umfasst eng gefasste Untersuchungen, für deren Veröffentlichung eine Genehmigung erforderlich ist. Die zweite gewährt Prüfern umfassenderen Zugriff und erlaubt ihnen, vorbehaltlich bestimmter Schwärzungen ohne vorherige Zustimmung zu veröffentlichen.
METR ist derzeit die einzige Organisation auf der dritten Ebene. Sie gewährt Zugriff auf interne Systeme, der mit dem von Anthropic-Mitarbeitern vergleichbar ist, die an KI-Risikobewertungen arbeiten.
SecureBio, eine gemeinnützige Organisation für Biosicherheit, befindet sich auf der ersten Ebene und prüft das Kapitel zu chemischen und biologischen Waffen in Anthropics Risikobericht vom August. Anthropic arbeitet außerdem mit Faculty, dem KI-Geschäftsbereich von Accenture, zusammen und führt erste Gespräche mit Hugging Face.
„Wir binden Prüfer freiwillig ein, und wir sind der Ansicht, dass jedes Unternehmen für modernste KI dasselbe tun sollte“, erklärte Anthropic. Das Unternehmen verglich die Vereinbarung mit der Bankenaufsicht: Dort arbeiten fest zugeordnete Prüfer in den größten Banken, weil diese Institute ihre eigene Risikolage besser verstehen als Außenstehende.
Die Ankündigung folgt auf eine Reuters-Recherche, der zufolge Anthropic und OpenAI erheblichen Einfluss darauf nehmen wollten, was externe Prüfer veröffentlichen durften, weil sie befürchteten, Geschäftsgeheimnisse könnten offengelegt werden. Ein zentraler Streitpunkt ist, dass Informationen, die Unternehmen als geistiges Eigentum betrachten, auch für die Bewertung von Modellrisiken relevant sein können.
Experten haben Bedenken hinsichtlich der Unabhängigkeit der Prüfer geäußert, da die KI-Unternehmen selbst auswählen, wer die Prüfungen durchführt.
Warum dies einen Präzedenzfall schafft
Anthropics Schritt könnte frühzeitig zeigen, ob freiwillige Bewertungen durch Dritte eine sinnvolle Prüfung fortschrittlicher KI-Systeme ermöglichen können, ohne dass formale regulatorische Vorgaben bestehen.
Das Ende September unterzeichnete Abkommen des Weißen Hauses von Anthropic, Google, Meta, OpenAI, SpaceX und Nvidia ermutigte Unternehmen, „mit einem unabhängigen externen Prüfer oder Gutachter zusammenzuarbeiten“, legte jedoch keine verbindlichen Anforderungen fest.
Wenn die eingebettete Prüfung durch METR glaubwürdige und kritische Erkenntnisse hervorbringt, könnte sie zu einer Vorlage werden, der sich Wettbewerber unter Druck sehen, anzuschließen. Liefert sie hingegen allzu milde Bewertungen oder verliert sie sich in Auseinandersetzungen über Schwärzungen, könnte dies die Argumente stärken, dass Selbstregulierung nicht ausreicht.
Die abgestufte Struktur bietet Regulierungsbehörden einen praktikablen Fahrplan: Statt sofort vollständigen Zugriff zu verlangen, könnte die Aufsicht ausgeweitet werden, während Vertrauen und Fachwissen wachsen. Diese Flexibilität könnte sich als entscheidend erweisen, während sich die Standards für KI-Governance weiterentwickeln.
Was unabhängige Bewertungen für die KI-Sicherheit bedeuten könnten
Wenn Sie Anthropics Claude-Chatbot verwenden, wird diese Vereinbarung Ihr Nutzungserlebnis nicht unmittelbar verändern. Sie könnte jedoch beeinflussen, was Sie letztlich über die Fähigkeiten und Einschränkungen des Modells erfahren.
Die veröffentlichten Bewertungen von METR könnten den offensten externen Einblick darin bieten, wie Claude mit riskanten Aufgaben umgeht oder woran es scheitert. Nutzer, denen Transparenz wichtig ist, haben nun eine neue Informationsquelle, die Anthropic nicht blockieren, sondern nur durch Schwärzungen einschränken kann.
Für Organisationen, die Claude einsetzen oder KI-Systeme für sensible Arbeitslasten bewerten, könnten unabhängige Prüfungen zusätzliche Erkenntnisse darüber liefern, wie Entwickler Sicherheitsrisiken erkennen, testen und beheben.
Der Zugriff von METR könnte es Forschern ermöglichen, Sicherheitspraktiken genauer zu untersuchen, als dies allein durch externe Tests möglich wäre. Der Wert dieser Bewertungen wird jedoch davon abhängen, was die Forscher untersuchen können, wie viel sie offenlegen dürfen und ob ihre Erkenntnisse zu sinnvollen Veränderungen führen.
Für Sicherheitsteams könnten die Berichte zu einer weiteren Belegquelle bei der Bewertung von KI-Anbietern werden. Sie sollten jedoch nicht die eigenen Sicherheitstests einer Organisation, die Sorgfaltsprüfung von Anbietern oder Kontrollen dafür ersetzen, wie KI-Systeme auf sensible Informationen zugreifen.
Weitere Nachrichten: Firefox 158 behebt Sicherheitslücken, darunter Risiken eines Ausbruchs aus der Sandbox, die den Schutz des Browsers vor Schadcode untergraben könnten.