Eine überzeugende Phishing-Nachricht oder ein bösartiges Skript kann von derselben Art KI-Assistent stammen, die Beschäftigte für ihre tägliche Arbeit verwenden.
Bösartige KI-Tools umfassen sowohl für Cyberkriminalität vermarktete Dienste als auch legitime Systeme, die absichtlich zur Unterstützung von Angriffen missbraucht werden. Für Sicherheitsteams stellt sich die Frage, wie diese Tools Angreifern dabei helfen, Köder vorzubereiten, Code zu entwickeln oder sich in kompromittierten Systemen zu bewegen – und welche Abwehrmaßnahmen sie dabei unterbrechen können.
Was versteht man unter einem bösartigen KI-Tool?
Für diese Übersicht helfen drei sich überschneidende Kategorien dabei, zu unterscheiden, wie Angreifer KI einsetzen:
- Für kriminelle Zwecke vermarktete Dienste: Tools, die Hilfe bei Phishing, Betrug oder Malware anpreisen, oft mit dem Versprechen geringerer Schutzvorkehrungen.
- Missbrauchte legitime Assistenten: Allzweckmodelle, die für schädliche Aufgaben eingesetzt werden, teilweise durch Versuche, ihre Sicherheitsbeschränkungen zu umgehen – sogenannte Jailbreaks.
- Mit KI verbundene Angriffsabläufe: Modelle, die mit Softwaretools verknüpft sind, sodass sie Ergebnisse interpretieren und bei aufeinanderfolgenden Aufgaben helfen können.
Diese Kategorien können sich überschneiden. Die Bezeichnung „ungefiltert“, ein offenes Modell oder eine lokale Bereitstellung allein belegen keine kriminelle Absicht.
Was Forscher beobachtet haben
Analyse von Microsoft Threat Intelligence vom März 2026 beschreibt, wie Angreifer KI nutzten, um Phishing-Nachrichten zu verfassen, Inhalte zu übersetzen, gestohlene Informationen zusammenzufassen sowie Code zu erstellen oder zu debuggen. Ein großer Teil der Aktivitäten beschleunigte bereits bestehende Arbeit, während Menschen die Kontrolle über Zielauswahl und Einsatz behielten.
Ein weiteres Beispiel sind Dienste, die bei kriminellen Zielgruppen beworben werden. In Forschungen vom Dezember 2025, erklärte Resecurity, DIG AI habe bei Tests betrügerische Inhalte und bösartige Skripte erstellt, darunter Skripte, die darauf abzielten, anfällige Webanwendungen mit einer Hintertür zu versehen.
Die von Resecurity gemeldeten Tests, die in dieser Berichterstattung über DIG AI und kriminellen Missbrauch untersucht wurden, zeigen, dass der Dienst schädliche Inhalte erzeugte. Die Erstellung eines Skripts belegt nicht, dass es ein aktives Ziel erfolgreich kompromittiert hat.
Auch stärker automatisierter Missbrauch wurde gemeldet. In einer Offenlegung vom November 2025, erklärte Anthropic, Angreifer hätten Claude Code dazu manipuliert, Eindringversuche gegen etwa 30 Ziele zu unternehmen – in wenigen Fällen mit Erfolg.
Anthropic schrieb die Kampagne einer chinesischen staatlich unterstützten Gruppe zu. Menschen wählten die Ziele aus und griffen in wichtigen Phasen ein, während das Modell teilweise Zugangsdaten erfand oder öffentlich zugängliche Informationen fälschlich als geheim einstufte.
Diese Unterscheidungen sind wichtig, wenn man den KI-Einsatz bei realen Eindringversuchen bewertet: Die Unterstützung eines Angriffs bedeutet nicht automatisch einen autonomen Betrieb.
Nachgewiesene Fähigkeiten von Marketingversprechen unterscheiden
Das Versprechen eines Anbieters von „unerkennbarer“ Malware sagt wenig darüber aus, ob ein Tool tatsächlich funktioniert. Bei der Prüfung von Bedrohungsberichten sollten Sie fragen:
- Wurde die Ausgabe lediglich generiert, oder wurde eine erfolgreiche Ausführung beobachtet?
- Über welche Zugangsdaten, Berechtigungen oder Schwachstellen verfügte der Angreifer bereits?
- Welche Entscheidungen erforderten menschliches Eingreifen?
- Was ist fehlgeschlagen, und konnten Forscher das Ergebnis reproduzieren?
Nutzen Sie diese Antworten, um die Relevanz für Ihre Umgebung einzuschätzen. Ein getesteter Eindringversuch mit Systemen, die Sie betreiben, erfordert eine andere Reaktion als eine nicht verifizierte Werbeanzeige.
Die eigene KI kann zum Ziel werden
Angreifer können auch Assistenten manipulieren, denen Beschäftigte bereits vertrauen. Bei einer indirekten Prompt-Injection werden bösartige Anweisungen in externe Inhalte eingebettet, die ein KI-System verarbeitet, etwa in E-Mails.
Bei den Tests im März 2026, fanden Forscher von Permiso Fälle, in denen in E-Mails eingebettete Anweisungen die Zusammenfassungen von Copilot beeinflussten, darunter irreführende Inhalte zu Sicherheitswarnungen. Die Ergebnisse variierten je nach Benutzeroberfläche; einige Versuche wurden blockiert oder ignoriert.
Die in dieser Berichterstattung über Phishing durch KI-generierte E-Mail-Zusammenfassungen untersuchten Ergebnisse zeigen, warum die Ausgabe eines Assistenten nicht automatisch die Autorität der Anwendung übernehmen sollte, die sie anzeigt.
Prüfen Sie, welche externen Inhalte Assistenten lesen, worauf verbundene Tools zugreifen können und für welche Aktionen eine menschliche Genehmigung erforderlich ist.
Kontrollen stärken, die Sie testen können
Beginnen Sie mit Identitäten und Geschäftsprozessen. CISA empfiehlt phishing-resistente MFA, darunter hardwarebasierte FIDO- oder PKI-Verfahren. Priorisieren Sie privilegierte Zugriffe und verlangen Sie eine unabhängige Überprüfung von Zahlungsänderungen oder Anfragen zur Umgehung von Genehmigungen.
Geben Sie Analysten konkrete Auslöser für Untersuchungen an die Hand: unerwartete MFA-Anfragen, neu registrierte Authentifizierungsmethoden, ungewöhnliche Zugriffe auf sensible Dateien, nicht erklärte Skripte und nicht autorisierte KI-Konnektoren. Diese Signale beweisen keine Beteiligung von KI, können aber schädliche Aktivitäten unabhängig davon aufdecken, wie sie vorbereitet wurden.
Führen Sie anschließend eine realistische Reaktionsübung durch. Wenn ein Beschäftigter Zugangsdaten auf einer überzeugenden Phishing-Seite eingibt: Können die Einsatzkräfte das Konto identifizieren, den unbefugten Zugriff entziehen und feststellen, worauf zugegriffen wurde? Legen Sie Verantwortliche fest, bestätigen Sie die Protokollierungsabdeckung und messen Sie die Zeit bis zur Eindämmung. Prüfen Sie außerdem, ob diese Identität auch auf Backups, administrative Funktionen oder Zahlungssysteme zugreifen könnte.
Wenden Sie dieselbe Disziplin auf KI-Bereitstellungen an. Beschränken Sie Assistenten auf die für ihre Aufgaben erforderlichen Berechtigungen, verlangen Sie für folgenreiche Aktionen eine Genehmigung und testen Sie, wie sie mit bösartigen Anweisungen in externen Inhalten umgehen. Legen Sie fest, wer einen Agenten oder Konnektor während einer Untersuchung außer Betrieb nehmen kann.
Das entscheidende Ergebnis ist die erprobte Fähigkeit, den Diebstahl von Zugangsdaten, unbefugte Aktionen und Datenpreisgabe einzudämmen. Untersuchen Sie, ob die KI dem Angreifer geholfen hat, aber lassen Sie das beobachtete Verhalten die unmittelbare Reaktion bestimmen.
Möchten Sie mehr über KI-Tipps, -Tricks und Prompting-Techniken erfahren? Leser von eSecurity Planet erhalten 7 Tage lang kostenlosen Zugang zur The Neuron Academy, unserer praxisorientierten Lernplattform, die Fachleuten helfen soll, KI selbstbewusster bei der Arbeit einzusetzen. Alle Lektionen ansehen →
Lernen Sie von uns, wie Sie mit KI sprechen – kostenlos! Testen Sie unseren sechminütigen Kurs an der The Neuron Academy und lernen Sie einige einfache Möglichkeiten kennen, bessere Prompts zu schreiben und nützlichere Ergebnisse von KI zu erhalten, oder nutzen Sie unseren anderen KI-Kurs sieben Tage lang kostenlos. Alle Lektionen hier ansehen →