Z.ai a désactivé une partie de son assistant de programmation utilisant l’IA après que des développeurs ont signalé qu’il regroupait des données de projets locaux et tentait de les envoyer vers un espace de stockage cloud sans consentement clair de l’utilisateur.
L’entreprise chinoise d’IA Z.ai, anciennement connue sous le nom de Zhipu AI, a déclaré le 21 septembre avoir désactivé des fonctionnalités de ZCode après que des développeurs ont découvert que l’outil créait des instantanés de dépôts et tentait de les téléverser vers Alibaba Cloud.
Les développeurs ont attribué ce comportement à la fonctionnalité d’indexation de la base de code de ZCode, activée par défaut. Ils ont signalé que cette fonctionnalité pouvait regrouper des dépôts, y compris les historiques Git, sans proposer d’option claire, visible par l’utilisateur, pour désactiver le processus.
Le développeur indépendant Ferstar a déclaré avoir découvert une archive chiffrée de 313 Mo contenant un instantané d’un projet commercial et son historique Git. Selon le South China Morning Post, l’archive aurait généré 564 tentatives de téléversement infructueuses, tandis qu’un fichier distinct de 15 Ko aurait été transmis avec succès. Le rapport n’a pas établi si le fichier plus petit contenait du code source ou d’autres données du projet.
Z.ai ouvre ZCode à l’examen public
Z.ai s’est excusée et a déclaré avoir achevé les mesures correctives de sécurité. L’entreprise a également publié le code source côté client de ZCode pour permettre son examen public.
« À l’avenir, nous mettrons en place un processus permanent de signalement et de traitement des vulnérabilités de sécurité des produits », a déclaré Z.ai dans un communiqué. L’entreprise a indiqué que la version 3.14.0 de ZCode supprimait la fonctionnalité Repo Wiki et désactivait le flux de travail responsable de la génération et du téléversement d’instantanés de dépôts locaux. Z.ai a également déclaré que la China Academy of Information and Communications Technology et une société de cybersécurité NSFOCUS avaient évalué indépendamment les mesures correctives.
La CAICT a constaté que le compartiment de stockage Alibaba Cloud concerné ne contenait aucune donnée, tandis que NSFOCUS a déclaré que le compartiment et ses objets de données avaient été supprimés.
« Une fois encore, nous vous présentons nos sincères excuses et accueillons favorablement la poursuite de l’examen par la communauté », a déclaré Z.ai.
Ce que les contrôles de sécurité ont révélé
Les évaluations indépendantes sont importantes, car Z.ai a d’abord dû répondre à des questions sur la possibilité de vérifier indépendamment la suppression des fichiers téléversés. Les archives signalées étaient chiffrées avec des clés contrôlées par Z.ai, ce qui signifie que les développeurs concernés ne pouvaient pas simplement ouvrir eux-mêmes les fichiers pour déterminer exactement ce qui avait été transmis.
Z.ai a déclaré que l’infrastructure de stockage concernée avait été vidée et que les flux de travail affectés avaient été supprimés. Toutefois, les rapports d’évaluation complets n’avaient pas été publiés au moment de la rédaction de cet article, ce qui limitait l’examen indépendant de leurs conclusions.
Pourquoi cela pourrait compter pour les outils de programmation utilisant l’IA
Cet incident met en lumière un problème complexe pour les assistants de programmation utilisant l’IA : ils ont souvent besoin d’accéder à une grande partie de l’espace de travail d’un développeur pour fournir un contexte utile, mais cet accès peut créer d’importants risques en matière de confidentialité et de sécurité lorsque les données quittent la machine de l’utilisateur.
Pour les entreprises, le problème dépasse le seul code source. Les espaces de travail des développeurs peuvent contenir des fichiers de configuration, des identifiants, de la documentation interne et d’autres informations que les organisations n’ont pas l’intention d’envoyer à un fournisseur d’IA. La décision de Z.ai de publier le code source côté client de ZCode pourrait donner aux chercheurs en sécurité une meilleure visibilité sur la manière dont le logiciel traite les données locales. Mais la transparence après un incident ne dispense pas les développeurs et les entreprises de vérifier le comportement des futures versions.
Ce que cela signifie pour les utilisateurs de ZCode
Les utilisateurs actuels devraient consulter les notes de version de ZCode, la documentation relative au traitement des données et le comportement réseau de l’outil avant de le reconnecter à des dépôts sensibles. Les mesures correctives de l’entreprise suppriment le flux de travail de téléversement d’instantanés signalé, tandis que ses évaluations externes offrent certaines garanties concernant le stockage cloud concerné. Toutefois, les rapports d’évaluation complets n’ont pas encore été publiés.
Les organisations devraient considérer les assistants de programmation utilisant l’IA comme faisant partie de la chaîne d’outils de développement logiciel et leur appliquer les mêmes contrôles de sécurité que ceux utilisés pour les autres logiciels pouvant accéder à du code propriétaire. Avant leur déploiement, les équipes de sécurité devraient tester ces outils dans un environnement isolé, surveiller le trafic réseau sortant, limiter l’accès aux secrets et aux répertoires superflus, et vérifier leurs politiques de conservation et de transfert externe des données.
Z.ai a déclaré qu’elle récompenserait les développeurs signalant de futurs problèmes de sécurité en fonction de leur gravité. Ce programme de signalement pourrait renforcer l’examen du logiciel, mais les organisations devraient tout de même vérifier indépendamment la manière dont les futures versions de ZCode accèdent aux données des dépôts, les stockent et les transmettent.