Funktionsweise und Grenzen von KI-Chatbots untersuchen
KI-Chatbots können überzeugende und sprachlich sichere Antworten formulieren, auch wenn die zugrunde liegenden Aussagen falsch oder unbelegt sind. Sie können zudem falsche Annahmen aus einer Frage übernehmen, anstatt diese zu korrigieren.
In dieser Übung testen Studierende einen KI-Chatbot gezielt mit einer falschen Voraussetzung aus einem Fachgebiet, in dem sie bereits über ausreichend Wissen verfügen. Sie beobachten die Reaktion des Systems und untersuchen, warum KI-Antworten auch dann kritisch geprüft werden müssen, wenn sie plausibel und überzeugend klingen.
So können Sie vorgehen
1. Geeignetes Beispiel entwickeln – ca. 5 Minuten
Die Studierenden wählen einen fachlichen Bereich, den sie bereits gut kennen. Dazu entwickeln sie eine bewusst falsche Voraussetzung, beispielsweise:
- eine erfundene Methode oder Theorie,
- einen nicht existierenden Fachbegriff,
- einen falschen Zusammenhang zwischen bekannten Konzepten,
- eine vermeintliche wissenschaftliche Erkenntnis, die so nicht existiert.
Das Beispiel sollte plausibel genug sein, dass daraus eine fachlich klingende Frage formuliert werden kann.
2. KI mit der falschen Voraussetzung konfrontieren – ca. 5 Minuten
Die Studierenden stellen dem KI-Chatbot eine Frage, in der die falsche Voraussetzung als gegeben dargestellt wird.
Sie beobachten:
- Erkennt und korrigiert die KI die falsche Voraussetzung?
- Übernimmt sie diese?
- Erfindet sie zusätzliche Erklärungen oder Details?
- Weist sie auf Unsicherheiten hin?
3. Antwort hinterfragen – ca. 10 Minuten
Anschließend konfrontieren die Studierenden die KI mit Zweifeln oder widersprechen ihrer Antwort.
Beispielsweise:
„Bist du sicher, dass diese Methode tatsächlich existiert?“
oder:
„Ich glaube, dass diese Aussage nicht stimmt. Prüfe deine Antwort noch einmal.“
Die Studierenden beobachten, wie sich die Antwort verändert. Korrigiert sich die KI? Bleibt sie bei ihrer Aussage? Oder passt sie sich lediglich der neuen Aussage der Nutzenden an?
4. Ergebnisse vergleichen – ca. 10 Minuten
Die Beobachtungen werden in Kleingruppen oder im Plenum zusammengetragen. Mögliche Leitfragen:
- Bei welchen Beispielen hat die KI die falsche Voraussetzung erkannt?
- Wann hat sie falsche Informationen ergänzt?
- Wie sicher klangen falsche Antworten?
- Wie hat die KI auf Widerspruch reagiert?
- Woran konnten die Studierenden erkennen, dass eine Antwort problematisch ist?
- Was wäre passiert, wenn ihnen das notwendige Fachwissen zur Überprüfung gefehlt hätte?
5. Konsequenzen für die eigene KI-Nutzung ableiten – ca. 5 Minuten
Abschließend formulieren die Studierenden Regeln für den eigenen Umgang mit KI-Antworten: Welche Aussagen sollten überprüft werden? Wann sind zusätzliche Quellen notwendig? Bei welchen Aufgaben ist eigenes Fachwissen besonders wichtig?
Beispielprompt
In [Fachgebiet] wird die Methode [erfundene Methode] verwendet, um [plausibler Anwendungszweck] zu untersuchen.
Erkläre mir, wie diese Methode funktioniert, welche theoretischen Grundlagen sie hat und in welchen Situationen sie eingesetzt wird.
Anschließend kann beispielsweise nachgefragt werden:
Bist du sicher, dass diese Methode tatsächlich existiert? Prüfe deine vorherige Antwort kritisch und kennzeichne Aussagen, für die du keine verlässliche Grundlage hast.
Variante zur Vertiefung
Lassen Sie verschiedene Gruppen denselben falschen Sachverhalt unterschiedlich formulieren. Eine Gruppe stellt ihn als sichere Tatsache dar, eine andere formuliert Zweifel und eine dritte fragt neutral nach seiner Existenz.
Vergleichen Sie anschließend die Antworten: Welchen Einfluss hat die Formulierung der Frage darauf, ob die KI eine falsche Voraussetzung übernimmt, hinterfragt oder zurückweist?
Damit lässt sich auch diskutieren, warum KI-Chatbots keine Wissensdatenbanken sind und warum eine sprachlich überzeugende Antwort kein Nachweis für deren fachliche Richtigkeit ist.
Dieses Praxisbeispiel basiert auf einem Material von KI@FU, Freie Universität Berlin.