Was sind KI-Halluzinationen?
Als KI-Halluzination bezeichnet man eine Antwort eines Sprachmodells, die überzeugend formuliert ist, aber nicht den Tatsachen entspricht. Das Modell erfindet etwa Zahlen, Zitate, Quellen, Urteile oder Produkteigenschaften und präsentiert sie mit derselben Sicherheit wie korrekte Informationen. Der Begriff ist bildhaft gemeint: Die KI "sieht" nichts, sie erzeugt lediglich wahrscheinliche, aber falsche Wortfolgen.
Warum KI halluziniert
Ein Sprachmodell berechnet, welches Wort mit hoher Wahrscheinlichkeit als nächstes folgt. Es hat dabei keinen Zugriff auf eine Liste wahrer Fakten. Wenn es eine Antwort nicht kennt, erzeugt es trotzdem eine Antwort, die so klingt, wie eine richtige Antwort klingen würde.
Websuche und das Einbinden eigener Dokumente verringern das Problem, beseitigen es aber nicht. Auch mit Quellen kann ein Modell Inhalte falsch zusammenfassen oder Aussagen einer Quelle zuordnen, in der sie nicht stehen.
Bekannte Fälle
- 2023 reichten Anwälte in New York einen Schriftsatz mit Urteilen ein, die ChatGPT erfunden hatte. Das Gericht verhängte eine Geldstrafe.
- 2024 entschied ein kanadisches Schiedsgericht, dass Air Canada für eine falsche Auskunft seines Website-Chatbots zu Erstattungsregeln einstehen muss. Das Unternehmen hatte argumentiert, der Chatbot sei für seine Aussagen selbst verantwortlich, und war damit gescheitert.
Beide Fälle zeigen dasselbe Muster: Nicht die KI trägt die Verantwortung, sondern wer ihre Ergebnisse verwendet.
Wo Halluzinationen besonders häufig sind
- Konkrete Zahlen, Statistiken und Datumsangaben
- Zitate, Quellenangaben und Links
- Paragrafen, Urteile und Aktenzeichen
- Produktdetails, Preise und Vertragsbedingungen
- Personen und Unternehmen, über die wenig öffentlich bekannt ist
- Aktuelle Ereignisse nach dem Trainingsstand des Modells
Eine Prüfpflicht, die im Alltag funktioniert
"Alles prüfen" ist als Regel zu ungenau und wird im Alltag nicht eingehalten. Wirksamer ist eine Prüfpflicht, die sich an Risiko und Verwendung orientiert.
| Verwendung | Prüfung |
|---|---|
| Eigene Notizen, Brainstorming, Entwürfe | Plausibilität |
| Interne Dokumente und E-Mails | Fakten und Zahlen gegen Originalquelle |
| Texte an Kunden, Partner oder Öffentlichkeit | Jede Tatsachenbehauptung belegen, zweites Augenpaar bei wichtigen Texten |
| Recht, Finanzen, Gesundheit, Sicherheit | Fachliche Prüfung durch zuständige Person, KI nur als Entwurf |
Praktische Tipps
- Das Modell nach Quellen fragen und diese selbst öffnen, nicht nur den Link ansehen
- Bei Zahlen immer die Originalquelle suchen
- Kritische Fragen neu formulieren und Antworten vergleichen
- Eigene Dokumente als Grundlage geben, statt auf das Modellwissen zu vertrauen
- Kunden-Chatbots auf geprüfte Inhalte beschränken und klare Grenzen für verbindliche Auskünfte setzen