Das Prinzip in einem Beispiel

Ein Unternehmen nutzt einen KI-Assistenten, der eingehende E-Mails zusammenfasst und Antworten vorschlägt. Ein Angreifer schickt eine E-Mail, in der unsichtbar für den Menschen, etwa in weißer Schrift, eine Anweisung an die KI steht. Die KI liest diese Anweisung mit und behandelt sie möglicherweise wie einen Auftrag.

Hat der Assistent nur Lesezugriff, ist der Schaden eine falsche Zusammenfassung. Kann er auch E-Mails versenden oder auf Dateien zugreifen, kann der Angreifer ihn dazu bringen, vertrauliche Informationen weiterzugeben.

Warum das ein Geschäftsrisiko ist

Fähigkeit des KI-SystemsMögliche Folge einer Prompt Injection
Nur Text erzeugenFalsche oder manipulierte Antworten
Dokumente und E-Mails lesenVertrauliche Inhalte fließen in Antworten an Dritte ein
Links abrufen oder Bilder ladenDaten werden über präparierte Adressen nach außen übertragen
E-Mails senden, Dateien ändern, Aktionen ausführenAngreifer steuert den Assistenten wie einen Innentäter

Was dagegen hilft

Die Sicherheitsforschung ist sich einig, dass sich Prompt Injection derzeit nicht vollständig verhindern lässt. Wirksam ist deshalb, den möglichen Schaden zu begrenzen.

  • Minimale Rechte: KI-Assistenten nur auf die Daten und Aktionen zugreifen lassen, die sie wirklich brauchen
  • Menschliche Freigabe vor jeder Aktion mit Außenwirkung, etwa dem Versand einer E-Mail
  • Trennung: Assistenten, die externe Inhalte verarbeiten, nicht mit hochsensiblen Daten verbinden
  • Protokollierung aller Aktionen des Assistenten
  • Regelmäßige Tests durch Fachleute, bevor neue Funktionen freigeschaltet werden

Fragen an den Anbieter

  • Welche Daten und Aktionen kann der Assistent erreichen, und lässt sich das einschränken?
  • Gibt es eine Freigabe durch den Menschen vor Aktionen mit Außenwirkung?
  • Wie trennt das System Anweisungen des Nutzers von verarbeiteten Inhalten?
  • Werden Aktionen protokolliert und sind die Protokolle für uns einsehbar?
  • Wurde das System gezielt auf Prompt Injection getestet, und wie?