Die rechtlichen Anforderungen im Überblick
| Bereich | Anforderung |
|---|---|
| AI Act (Art. 50) | Hinweis, dass Kunden mit einer KI interagieren, spätestens zu Beginn des Gesprächs |
| DSGVO | Rechtsgrundlage, Vertrag zur Auftragsverarbeitung, Information in der Datenschutzerklärung, Speicherfristen für Chatverläufe |
| DSGVO (Art. 22) | Keine ausschließlich automatisierten Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung, etwa Ablehnung einer Erstattung ohne menschliche Prüfung |
| TTDSG/TDDDG | Einwilligung für nicht notwendige Cookies oder Speicherzugriffe des Chat-Widgets |
| Barrierefreiheit | Für viele Online-Angebote gegenüber Verbrauchern gelten seit dem 28. Juni 2025 Anforderungen nach dem Barrierefreiheitsstärkungsgesetz, auch für Chat-Funktionen |
Diese Übersicht ersetzt keine Rechtsberatung. Je nach Branche können weitere Vorgaben gelten, etwa im Finanz- oder Gesundheitsbereich.
Haftung: Der Chatbot spricht für das Unternehmen
2024 musste Air Canada nach einer Entscheidung eines kanadischen Schiedsgerichts für eine falsche Auskunft seines Website-Chatbots einstehen. Der Chatbot hatte einem Kunden eine Erstattungsregel genannt, die es so nicht gab. Das Argument, der Chatbot sei für seine Aussagen selbst verantwortlich, wies das Gericht zurück.
Auch nach deutschem Recht ist davon auszugehen, dass Unternehmen sich Aussagen ihres Chatbots zurechnen lassen müssen. Ein Hinweis "Angaben ohne Gewähr" schützt nur begrenzt.
- Chatbot auf eine geprüfte Wissensbasis beschränken, statt frei aus dem Modellwissen antworten zu lassen
- Verbindliche Zusagen zu Preisen, Fristen, Erstattungen oder Verträgen ausschließen oder an Menschen übergeben
- Antworten zu sensiblen Themen regelmäßig stichprobenartig prüfen
Sicherheitsrisiken
Ein Chatbot ist eine öffentlich erreichbare Schnittstelle, die jede Person mit beliebigen Texten füttern kann. Das macht ihn zum Angriffsziel.
- Prompt Injection: Angreifer versuchen, den Chatbot zu Aussagen oder Aktionen zu bringen, die er nicht ausführen soll
- Datenabfluss: Hat der Chatbot Zugriff auf Kundendaten, darf er nur Daten der angemeldeten Person anzeigen
- Missbrauch für Werbung oder rufschädigende Aussagen, die per Screenshot verbreitet werden
- Kosten: Automatisierte Anfragen können bei nutzungsbasierter Abrechnung hohe Kosten verursachen
Gegenmaßnahmen: minimale Rechte, keine Aktionen ohne Bestätigung, Begrenzung der Anfragen pro Nutzer, Protokollierung und ein Test durch Fachleute vor dem Livegang.
Gute Praxis für den Start
- Einsatzbereich eng beginnen, etwa Öffnungszeiten, Lieferstatus, häufige Fragen
- Geprüfte Wissensbasis aufbauen und aktuell halten
- KI-Hinweis sichtbar ins Chatfenster setzen
- Weiterleitung an Menschen jederzeit ermöglichen
- Speicherfrist für Chatverläufe festlegen und Datenschutzerklärung anpassen
- Vor dem Livegang auf Prompt Injection und Fehlantworten testen lassen
- In den ersten Wochen Gespräche stichprobenartig auswerten