Z.ai hat Teile seines KI-Programmierassistenten deaktiviert, nachdem Entwickler berichteten, dass dieser lokale Projektdaten bündelte und ohne eindeutige Zustimmung der Nutzer versuchte, sie an einen Cloud-Speicher zu senden.
Das chinesische KI-Unternehmen Z.ai, früher als Zhipu AI bekannt, erklärte am 21. September, es habe Funktionen in ZCode deaktiviert, nachdem Entwickler festgestellt hatten, dass das Tool Repository-Snapshots erstellte und versuchte, sie in die Alibaba Cloud hochzuladen.
Entwickler führten dieses Verhalten auf die standardmäßig aktivierte Funktion zur Codebase-Indizierung von ZCode zurück. Sie berichteten, dass die Funktion Repositorys, einschließlich Git-Verläufen, verpacken konnte, ohne eine klare, für Nutzer sichtbare Option zum Deaktivieren des Vorgangs anzubieten.
Der unabhängige Entwickler Ferstar berichtete, ein 313 MB großes verschlüsseltes Archiv gefunden zu haben, das einen Snapshot eines kommerziellen Projekts und dessen Git-Verlauf enthielt. Das Archiv soll 564 fehlgeschlagene Upload-Versuche ausgelöst haben, während laut der South China Morning Post. Der Bericht stellte nicht fest, ob die kleinere Datei Quellcode oder andere Projektdaten enthielt.
Z.ai öffnet ZCode für öffentliche Prüfung
Z.ai entschuldigte sich und erklärte, die Sicherheitslückenbehebung abgeschlossen zu haben. Das Unternehmen veröffentlichte außerdem den clientseitigen Quellcode von ZCode zur öffentlichen Prüfung.
„Für die Zukunft werden wir einen fortlaufenden Prozess zur Meldung und Behebung von Produktsicherheitslücken etablieren“, erklärte Z.ai in einer Stellungnahme. Das Unternehmen erklärte, ZCode Version 3.14.0 habe die Funktion „Repo Wiki“ entfernt und den für die Erstellung und das Hochladen lokaler Repository-Snapshots verantwortlichen Ablauf deaktiviert. Z.ai erklärte außerdem, die China Academy of Information and Communications Technology und das Cybersicherheitsunternehmen NSFOCUS hätten die Behebung unabhängig bewertet.
CAICT stellte fest, dass sich der betreffende Alibaba-Cloud-Speicher-Bucket in einem Zustand ohne Daten befand, während NSFOCUS erklärte, der Bucket und seine Datenobjekte seien gelöscht worden.
„Wir entschuldigen uns erneut aufrichtig und begrüßen die anhaltende Prüfung durch die Community“, erklärte Z.ai.
Was die Sicherheitsprüfungen ergaben
Die unabhängigen Bewertungen sind wichtig, weil Z.ai zunächst mit Fragen dazu konfrontiert war, ob hochgeladene Dateien unabhängig als gelöscht verifiziert werden konnten. Die gemeldeten Archive waren mit von Z.ai kontrollierten Schlüsseln verschlüsselt, sodass die betroffenen Entwickler die Dateien nicht einfach selbst öffnen konnten, um genau festzustellen, was übertragen worden war.
Z.ai erklärte, die betreffende Speicherinfrastruktur sei bereinigt und die betroffenen Abläufe entfernt worden. Die vollständigen Bewertungsberichte waren zum Zeitpunkt der Veröffentlichung dieses Artikels jedoch noch nicht veröffentlicht, was eine unabhängige Prüfung ihrer Ergebnisse einschränkte.
Warum dies für KI-Programmierwerkzeuge wichtig sein könnte
Der Vorfall legt ein schwieriges Problem für KI-Programmierassistenten offen: Sie benötigen häufig Zugriff auf große Teile des Arbeitsbereichs eines Entwicklers, um nützlichen Kontext bereitzustellen, doch dieser Zugriff kann erhebliche Datenschutz- und Sicherheitsrisiken schaffen, wenn Daten den Rechner des Nutzers verlassen.
Für Unternehmenskunden geht das Problem über den Quellcode hinaus. Arbeitsbereiche von Entwicklern können Konfigurationsdateien, Zugangsdaten, interne Dokumentation und andere Informationen enthalten, die Unternehmen nicht an einen KI-Anbieter senden wollen. Die Entscheidung von Z.ai, den clientseitigen Quellcode von ZCode zu veröffentlichen, könnte Sicherheitsforschern einen besseren Einblick in den Umgang der Software mit lokalen Daten geben. Transparenz nach einem Vorfall beseitigt jedoch nicht die Notwendigkeit, dass Entwickler und Unternehmen das Verhalten künftiger Versionen überprüfen.
Was dies für ZCode-Nutzer bedeutet
Bestehende Nutzer sollten vor der erneuten Verbindung des Tools mit sensiblen Repositorys die Versionshinweise, die Dokumentation zum Umgang mit Daten und das Netzwerkverhalten von ZCode prüfen. Die Behebung durch das Unternehmen entfernt den gemeldeten Ablauf zum Hochladen von Snapshots, während die externen Bewertungen eine gewisse Sicherheit hinsichtlich des betroffenen Cloud-Speichers bieten. Die vollständigen Bewertungsberichte wurden jedoch noch nicht veröffentlicht.
Unternehmen sollten KI-Programmierassistenten als Teil der umfassenderen Softwareentwicklungstoolchain betrachten und dieselben Sicherheitskontrollen anwenden wie bei anderer Software, die auf proprietären Quellcode zugreifen kann. Vor der Einführung sollten Sicherheitsteams diese Tools in einer isolierten Umgebung testen, ausgehenden Netzwerkverkehr überwachen, den Zugriff auf Geheimnisse und nicht benötigte Verzeichnisse beschränken und ihre Richtlinien zur Datenaufbewahrung und externen Übertragung bestätigen.
Z.ai erklärte, Entwickler, die künftig Sicherheitsprobleme melden, abhängig von deren Schweregrad belohnen zu wollen. Das Meldeprogramm könnte die Prüfung verbessern, doch Unternehmen sollten weiterhin unabhängig überprüfen, wie künftige ZCode-Versionen auf Repository-Daten zugreifen, diese speichern und übertragen.