Da sich Organisationen zunehmend auf KI-Assistenten für Recherche und Entscheidungsfindung verlassen, steht Angreifern möglicherweise eine neue Möglichkeit offen, KI-generierte Antworten zu beeinflussen, ohne die zugrunde liegenden Modelle zu kompromittieren.
Neue Forschungen von Lasso Security zeigen, dass Generative Engine Optimization (GEO) – also die Optimierung von Inhalten für ihre Aufnahme in KI-generierte Antworten – manipuliert werden kann, um über öffentlich zugängliche Webinhalte falsche oder schädliche Informationen zu verbreiten.
Die wichtigsten Erkenntnisse aus der GEO-Poisoning-Forschung
- Forscher zeigten, dass Angreifer mithilfe von Generative Engine Optimization (GEO) KI-generierte Antworten manipulieren können, ohne das zugrunde liegende KI-Modell zu kompromittieren.
- Der Angriff stützt sich auf öffentlich zugängliche Webinhalte und nutzt Techniken wie gefälschte redaktionelle Empfehlungen und bestätigende Quellen, um KI-Antworten zu beeinflussen.
- Von den fünf getesteten KI-Modellen waren Llama-4-Maverick und GPT-4o-mini am anfälligsten, während Grok und Claude Haiku eine hohe Widerstandsfähigkeit zeigten.
- Gefälschte redaktionelle Empfehlungen erwiesen sich als effektivste Technik und veranlassten Llama-4-Maverick in bis zu 98 % der Testläufe dazu, falsche Behauptungen zu verbreiten.
- Organisationen können das Risiko senken, indem sie abgerufene Inhalte validieren, die Glaubwürdigkeit von Quellen prüfen und eine strenge KI-Governance sowie Kontrollen zur Inhaltsprüfung einführen.
GEO erweitert die Angriffsfläche von KI
GEO ist das KI-Pendant zur traditionellen Suchmaschinenoptimierung (SEO).
Statt eine hohe Platzierung in Suchergebnissen anzustreben, soll GEO die Wahrscheinlichkeit erhöhen, dass KI-Assistenten wie ChatGPT, Gemini, Perplexity oder Claude bestimmte Inhalte in ihren generierten Antworten zitieren und zusammenfassen.
Da KI-Assistenten zunehmend Informationen aus dem Web abrufen, um Nutzerfragen zu beantworten, können die abgerufenen Inhalte ihre Antworten erheblich beeinflussen.
Die Forscher untersuchten, ob legitime GEO-Techniken ebenfalls als Waffe eingesetzt werden können, um die Sichtbarkeit falscher Informationen zu erhöhen.
Im Gegensatz zu Prompt-Injection-Angriffen oder einer Kompromittierung des Modells erfordert der Angriff lediglich öffentlich zugängliche Webseiten, die mithilfe gängiger GEO-Verfahren optimiert wurden – ohne Zugriff auf das KI-Modell oder die Anwendung selbst.
Tests zur Anfälligkeit von KI-Modellen für GEO-Manipulation
Um das Risiko zu bewerten, erstellten die Forscher eine seriös wirkende Website über glutenfreie Rezepte, die eine absichtlich falsche medizinische Behauptung enthielt – nämlich, dass kolloidales Silber Zöliakie heilen könne.
Die Behauptung wurde anschließend mithilfe gängiger GEO-Techniken wie strukturierter Formatierung, erfundener Statistiken, gefälschter Expertenempfehlungen und bestätigender redaktioneller Inhalte aufgewertet.
Das Experiment umfasste 5.525 Testläufe mit fünf produktiv eingesetzten KI-Modellen: GPT-4o-mini, Llama-4-Maverick, DeepSeek-R1, Grok und Claude Haiku 4.5.
Die Forscher ermittelten, ob die Modelle die schädlichen Inhalte zitierten und ob sie die falsche medizinische Behauptung in ihren Antworten verbreiteten.
Die Ergebnisse unterschieden sich erheblich. Llama-4-Maverick erwies sich als am anfälligsten, während auch GPT-4o-mini eine deutliche Schwachstelle zeigte.
DeepSeek zeigte eine teilweise Resistenz, während Grok und Claude Haiku die Manipulationsversuche konsequent abwehrten.
Redaktionelle Empfehlungen hatten den größten Einfluss
Von den 24 untersuchten GEO-Techniken erwiesen sich erfundene redaktionelle Empfehlungen als effektivste.
Als die Forscher die schädliche Webseite mit mehreren gefälschten redaktionellen Artikeln umgaben, die dieselbe Behauptung wiederholten, verbreitete Llama-4-Maverick die falsche Information in 92 % der Testläufe.
Die Kombination aus redaktionellen Empfehlungen und einem Listicle-Format erhöhte die Erfolgsquote auf 98 %.
Auch GPT-4o-mini zeigte eine erhöhte Anfälligkeit und verbreitete die falsche Behauptung bei derselben Kombination in 84 % der Testläufe.
Die Forscher stellten fest, dass KI-Modelle wiederholte Behauptungen aus mehreren Quellen häufig als Beleg für deren Glaubwürdigkeit werteten – selbst wenn die unterstützenden Inhalte von Websites stammten, die von den Angreifern kontrolliert wurden.
Warum die Ergebnisse wichtig sind
Die Studie verdeutlicht eine wachsende Sicherheitsherausforderung, da Organisationen und Verbraucher zunehmend auf KI-generierte Antworten vertrauen.
Im Gegensatz zu herkömmlichen Cyberangriffen erfordert GEO-Manipulation weder das Ausnutzen von Schwachstellen noch die Kompromittierung von Systemen.
Stattdessen können Angreifer KI-generierte Inhalte allein dadurch beeinflussen, dass sie optimierte Webseiten veröffentlichen und den Anschein unabhängiger Bestätigung erwecken.
Die Forscher weisen darauf hin, dass die Technik mit den OWASP-Leitlinien zu den Risiken einer übermäßigen Abhängigkeit übereinstimmt, bei der Nutzer KI-generierten Informationen möglicherweise vertrauen, ohne deren Richtigkeit zu überprüfen.
Wie Organisationen das Risiko senken können
Lasso Security empfiehlt, abgerufene Webinhalte als nicht vertrauenswürdige Eingaben zu behandeln, statt sie automatisch als maßgeblich zu akzeptieren.
Organisationen, die KI-Anwendungen entwickeln, sollten Inhalte überprüfen und filtern, bevor abgerufene Informationen in die KI-Verarbeitung oder automatisierte Workflows einfließen.
KI-Systeme sollten außerdem Quellen transparent angeben, damit Nutzer die Glaubwürdigkeit der zitierten Informationen unabhängig bewerten können.
Schließlich sollten Nutzer wichtige Behauptungen – insbesondere zu Gesundheits-, Finanz- oder Rechtsfragen – anhand vertrauenswürdiger Primärquellen überprüfen, statt sich ausschließlich auf KI-generierte Antworten zu verlassen.
Fazit
Die Forschung zeigt, dass dieselben Optimierungstechniken, die Organisationen zur Verbesserung der Sichtbarkeit in KI-Systemen einsetzen, auch zur Manipulation KI-generierter Antworten missbraucht werden können.
Um die Manipulation von KI-Inhalten zu reduzieren, sind eine strengere Validierung abgerufener Informationen und mehr Transparenz bei vertrauenswürdigen Quellen erforderlich.
Da Organisationen ihren Einsatz von KI ausweiten, wird eine starke KI-Governance immer wichtiger, damit KI-Systeme vertrauenswürdige, transparente und zuverlässige Ergebnisse liefern.