Warum halluziniert ChatGPT und wie lassen sich falsche Inhalte vermeiden?

Faktische Halluzinationen: Das Modell gibt Informationen an, die sachlich falsch oder erfunden sind.

• Beispiel: Wird ChatGPT gefragt, wann die Mondlandung stattfand, könnte es korrekterweise mit „1969“ antworten. Doch wenn die Trainingsdaten lückenhaft sind, könnte das Modell fälschlicherweise ein anderes Jahr nennen.

Logische Halluzinationen: Die KI stellt Zusammenhänge zwischen Themen her, die in Wirklichkeit keinen Bezug zueinander haben.

• Beispiel: Auf die Frage „Inwiefern beeinflusste Albert Einstein die moderne Tanzbewegung?“ könnte das Modell fälschlicherweise eine Verbindung konstruieren, obwohl Einstein keinen Einfluss auf diesen Bereich hatte.

Sprachliche Halluzinationen: Hier erscheinen die Antworten kohärent und sinnvoll, enthalten aber keine wirkliche Aussagekraft oder Substanz.

• Beispiel: Eine allgemeine Frage wie „Was sind die Vorteile von WLAN?“ könnte das Modell mit vagen Aussagen beantworten, ohne auf technische Details einzugehen.

2.1 Begrenzte oder unvollständige Trainingsdaten

Der Umfang und die Qualität der Trainingsdaten spielen eine entscheidende Rolle bei der Verlässlichkeit der generierten Inhalte. Trotz der umfangreichen Datenmengen, die zur Ausbildung eines Modells wie GPT-4 verwendet werden, gibt es bei bestimmten Themen Lücken oder Verfälschungen.

• Beispiel für Halluzination durch unzureichende Daten: Auf die Frage „Wer war der Hauptautor des sogenannten Aeneis-Epos?“ könnte ChatGPT behaupten, der Hauptautor sei „Homer“, obwohl in Wahrheit Vergil der Autor war.

2.2 Wahrscheinlichkeitsbasierte Textgenerierung und Kontextverlust

ChatGPT und ähnliche Sprachmodelle nutzen eine Wahrscheinlichkeitsverteilung, um das wahrscheinlichste nächste Wort vorherzusagen. Da Sprachmodelle jedoch nicht „verstehen“, was sie sagen, können Fehler und Halluzinationen entstehen, insbesondere bei langwierigen oder komplexen Anfragen.

• Beispiel für Halluzination durch Wahrscheinlichkeitsverteilung: Fragt man das Modell nach „drei chemischen Elementen, die blau leuchten“, könnte es Elemente nennen, die in der Realität nicht blau leuchten, wenn es die Antwort „raten“ muss.

2.3 Fehlen von Verifikation oder „Grounding“-Techniken

Ein weiterer Faktor, der Halluzinationen begünstigt, ist das Fehlen eines Mechanismus zur Validierung externer Daten. Ohne diese Grounding-Technik ist das Modell auf seine internen Wahrscheinlichkeitsmuster angewiesen, was dazu führt, dass Informationen ungeprüft erzeugt werden.

• Beispiel für eine Halluzination ohne Grounding: Auf die Frage nach den „neuesten Forschungen über Dinosaurier-DNA“ könnte ChatGPT hypothetische Aussagen treffen, ohne die tatsächlichen Einschränkungen in diesem Forschungsbereich zu kennen.

3.1 Illusion des „Verstehens“

Einer der Hauptgründe, warum Halluzinationen überzeugend wirken, ist die Illusion des Verstehens, die Sprachmodelle erzeugen. Diese Modelle berechnen lediglich die wahrscheinlichste Antwort und simulieren Verständlichkeit, ohne semantisches oder logisches Verständnis.

• Beispiel: Eine Frage wie „Warum wurde die Relativitätstheorie in der Psychologie verwendet?“ könnte das Modell dazu bringen, eine Antwort zu geben, die fälschlicherweise behauptet, die Relativitätstheorie habe direkte Anwendung in psychologischen Konzepten gefunden.

Praktischer Tipp zur Überprüfung:
Um sich gegen solche Illusionen abzusichern, ist es hilfreich, gezielte Nachfragen zu stellen:

• Prompts zur Kontrolle:
  • „Erkläre bitte, wie die Relativitätstheorie in der Psychologie verwendet wird und nenne Beispiele.“
  • „Welche wissenschaftlichen Arbeiten zeigen die Anwendung der Relativitätstheorie in der Psychologie?“

3.2 Fehlende Spezialisierung bei breit gefächerten Modellen

Breit angelegte Modelle wie ChatGPT sind nicht auf spezifische Anwendungsgebiete spezialisiert und halluzinieren daher häufiger in Bereichen, die detailliertes Fachwissen erfordern.

4.1 Die Limitierung solcher Befehle

Obwohl solche Befehle dazu führen können, dass das Modell weniger spekulativ antwortet, bleiben grundlegende Probleme bestehen. Das Modell kennt keine „Wahrheit“, sondern generiert Inhalte, die am wahrscheinlichsten im gegebenen Kontext erscheinen. Tatsächlich beruhen auch solche Anweisungen nur auf Wahrscheinlichkeitsmustern, die durch die Sprachstruktur geformt wurden, und nicht auf überprüfbaren Fakten.

4.2 Beispiele und Tests solcher Anweisungen

Testfall 1: „Kontrolliere deine Antwort auf Korrektheit“

• Frage: „Wann war der erste Mensch auf dem Mars?“
• Antwort: „Nach meiner Überprüfung ist noch kein Mensch auf dem Mars gelandet.“ Hier zeigt sich, dass das Modell in diesem Fall korrekt antworten kann, da die Trainingsdaten eine solche Struktur erkennen lassen. Doch bei detaillierteren Fragen funktioniert diese Art der Verifikation nur selten.

Testfall 2: „Nur verifizierte und wahre Informationen“

• Frage: „Welche neuen Theorien gibt es zur dunklen Materie?“
• Antwort: Trotz der Anweisung kann das Modell hier spekulative oder hypothetische Ansichten generieren, da es selbst keine Unterscheidung zwischen verifiziert und spekulativ vornehmen kann.

4.3 Warum funktioniert diese Art von Anweisungen oft nicht?

Ein Sprachmodell versteht keine Wahrheit im menschlichen Sinne. Wenn es eine „Überprüfung“ durchführt, berechnet es lediglich eine weitere Antwort. Solche Anweisungen können also eine illusionäre Sicherheit geben, bewirken aber selten eine echte Verifikationsleistung. Nur Modelle mit Zugang zu externen Datenbanken oder Faktenquellen könnten hier verlässlicher agieren.

5.1 Mehrfachfragen zur Konsistenzprüfung

Durch die erneute und leicht variierte Fragestellung lässt sich feststellen, ob ChatGPT bei spezifischen Themen halluziniert. Inkonsistente Antworten auf gleiche oder ähnliche Fragen können ein Zeichen dafür sein, dass das Modell rät oder keine verlässlichen Informationen hat.

• Beispiele für Prompts zur Konsistenzprüfung:

1. „Erkläre die neuesten Forschungsergebnisse zur Entdeckung von Exoplaneten.“
2. „Welche spezifischen Methoden zur Entdeckung von Exoplaneten gibt es, und wann wurden sie erstmals eingesetzt?“

Falls die Antworten stark voneinander abweichen oder ungenau bleiben, ist Vorsicht geboten. Solche Mehrfachfragen helfen dabei, das Modell zur Klarheit zu zwingen und Fehlinterpretationen zu erkennen.

5.2 Kontrolle durch Detaillierungsgrad

Eine nützliche Technik zur Halluzinationskontrolle ist die Anweisung, sich stärker zu spezialisieren oder technische Details anzufordern. Ein Sprachmodell wird bei Halluzinationen oft vage oder widersprüchlich. Durch detaillierte Nachfragen wird das Modell gezwungen, entweder Substanz zu liefern oder seinen Mangel an Fachwissen zu entlarven.

• Beispiele für Detailabfragen:

1. „Welche chemischen Prozesse laufen ab, wenn ein Diamant unter hohem Druck entsteht?“
2. „Nenne alle Bedingungen, die für die Bildung eines Diamanten erforderlich sind, und beschreibe den strukturellen Aufbau.“

Wenn das Modell sich wiederholt, nichtssagend bleibt oder verwirrende Antworten gibt, sind dies Hinweise auf mögliche Halluzinationen.

5.3 Externe Verifizierung und Quellenanfragen

Eine der besten Methoden zur Überprüfung von KI-generierten Inhalten ist das explizite Nachfragen nach Quellen. Falls das Modell auf externe Datenbanken oder Referenzen verweist, erhöht sich die Wahrscheinlichkeit für eine korrekte Antwort – wobei jedoch berücksichtigt werden muss, dass ChatGPT häufig auch fiktive Quellen halluziniert.

• Beispiele für Quellenanfragen:

1. „Gib mir die Quelle, die besagt, dass das erste Quantencomputer-Konzept von Richard Feynman entwickelt wurde.“
2. „Kannst du die Veröffentlichungen nennen, die die Existenz von Exoplaneten im Sternbild Andromeda bestätigen?“

Solche Fragen zwingen das Modell, zumindest eine semantisch plausible Quelle anzugeben. Fehlen Quellen, ist dies oft ein Indiz für eine halluzinierte Antwort.

5.4 Verwenden von Cross-Checks mit anderen KI-Modellen oder Datenbanken

Falls verfügbar, kann der Abgleich mit weiteren KI-Modellen oder verifizierten Datenquellen helfen. In der Praxis erweist sich der Cross-Check als effektiv, um Widersprüche aufzudecken und die Validität der Informationen zu bestätigen.

• Beispiel:

1. Stellen Sie eine spezifische Frage in ChatGPT und wiederholen Sie sie bei einem anderen Sprachmodell wie BERT oder einem spezialisierten Modell für bestimmte Wissensbereiche.
2. Vergleichen Sie die Antworten: Wenn eine Antwort abweicht, könnte dies auf eine Halluzination hinweisen.

6.1 Grenzen der Anweisung „Kontrolliere deine Antwort auf Korrektheit“

Auch wenn die Anweisung „Kontrolliere deine Antwort auf Korrektheit“ theoretisch sinnvoll erscheint, zeigt sich in der Praxis ihre begrenzte Effektivität. Ein Sprachmodell wie ChatGPT verfügt über keine interne Logik, um eigenständig zu erkennen, ob seine Antworten korrekt sind oder nicht. Die Wahrscheinlichkeitsberechnung basiert lediglich auf den im Training erworbenen Sprachmustern und nicht auf einer bewussten „Überprüfung“ der Inhalte. Dies führt dazu, dass solche Anweisungen bestenfalls zu einer vorsichtigeren oder allgemeiner formulierten Antwort führen, aber keine Garantie für Richtigkeit bieten.

6.2 Einschränkungen der Anweisung „Nur wahre, echte, verifizierte Inhalte“

Die Anweisung „Nur wahre, echte, verifizierte Inhalte. Denke dir nichts aus“ hat eine begrenzte Wirkung. Sprachmodelle erzeugen Antworten basierend auf statistischen Mustern; sie „denken“ sich nichts aus, sondern berechnen die wahrscheinlichste Antwort in einem gegebenen Kontext. Eine „Verifizierung“ durch die KI selbst ist hier nicht möglich, weil die Antwortstruktur lediglich auf den Trainingsdaten basiert und das Modell keine aktive Quellenverifikation durchführen kann.

7.1 Nutzung spezialisierter KI-Systeme

Für Anfragen, die spezifisches Fachwissen erfordern, können spezialisierte KI-Systeme zuverlässigere Informationen liefern. Während ChatGPT auf allgemeinem Wissen basiert, können medizinische, juristische oder technische Modelle mit spezifischeren Daten gefüttert werden und so präzisere Antworten liefern.

Beispiele für spezialisierte Systeme:

1. Medizinische Modelle wie das von IBM Watson für medizinische Diagnosen.
2. Rechtsspezifische KI-Modelle, die Gesetze und juristische Präzedenzfälle gezielt analysieren.

Diese Systeme reduzieren das Risiko von Halluzinationen durch ihr spezialisiertes Training und bieten oft nachvollziehbare, verifizierte Antworten.

7.2 Aufklärung und Schulung der Nutzer

Ein bewusster Umgang mit KI-Inhalten ist entscheidend, um Halluzinationen zu erkennen und zu vermeiden. Benutzer sollten sich stets bewusst sein, dass KI-Modelle keine wissensbasierte „Prüfung“ durchführen, sondern Wahrscheinlichkeiten berechnen. Diese Aufklärung sollte besonders für Nutzer in kritischen Bereichen wie Medizin, Recht oder Finanzberatung gelten.

Praktische Tipps für Nutzeraufklärung:

• Verstehen, dass KI-Modelle weder Wahrheit noch Falschheit „wissen“.
• Anweisungen gezielt und mehrfach zu formulieren, um Unklarheiten aufzudecken.
• Kritische Informationen aus KI-Antworten stets durch vertrauenswürdige, reale Quellen überprüfen.

7.3 Förderung der Transparenz von KI-Entwicklern

KI-Entwickler sollten Transparenz über die Limitierungen ihrer Modelle gewährleisten. Nutzer müssen verstehen, dass Sprachmodelle auf Wahrscheinlichkeiten und nicht auf bewiesenen Fakten basieren, und eine klare Kommunikation über die Risiken von Halluzinationen kann die Sicherheit und das Vertrauen in KI-Anwendungen erhöhen.

Beispiele für transparente Maßnahmen:

• Dokumentation der spezifischen Anwendungsbereiche und Grenzen des jeweiligen Modells.
• Hinweise auf die Notwendigkeit von Quellennachweisen und die möglichen Risiken von Halluzinationen.