Ein Hauptproblem im Umgang mit der künstlichen Intelligenz liegt heutzutage darin, dass sie oft nicht mehr zur Informationsgewinnung verwendet, sondern mehr zum Zweck der Companionship genutzt wird. Dabei lassen wir uns vielleicht zu einfach dazu verleiten, unseren Chatbots zu leicht zu trauen. Leider häufen sich die Fälle, die zeigen, warum das keine gute Idee ist.
Wozu wir Chatbots nutzen
Die „School of Public Health“ der Brown University hat eine Studie veröffentlicht, der zufolge 1 von 8 Jugendlichen in den Vereinigten Staaten AI in Fragen der psychischen Gesundheit konsultieren.
Viele AI-Angebote gehen heute in die Richtung, Freunde durch künstliche Intelligenz zu ersetzen. Nomi.AI bietet zum Beispiel verschiedene KI-Bots an, die laut Anbieter auf persönliche Gespräche ausgelegt sind, sich an frühere Unterhaltungen erinnern und wie eigene Persönlichkeiten wirken sollen. Gedacht sind diese „Begleiter“ als Freunde, leidenschaftliche Beziehungen und sogar einfühlsame Mentoren.
Das beinahe menschliche Gedächtnis und die Kreativität der Charaktere sollen eine tiefe, dauerhafte, sich weiter entwickelnde Beziehung herbeiführen. Die virtuellen Gesprächspartner sollen einem im Zweifelsfall auch mal widersprechen können.
Wozu wir Chatbots nützen
OpenAI, das Unternehmen hinter ChatGPT, wird derzeit auf rund 852 Milliarden US-Dollar geschätzt, schreibt bislang aber noch keine Gewinne. Daraus entsteht ein erheblicher Druck, die eigenen Produkte stärker zu monetarisieren. Ein naheliegender Weg dafür ist, Nutzer:innen möglichst häufig und möglichst lange an die Plattform zu binden.
Genau hier wird es problematisch: Wenn Chatbots so gestaltet werden, dass sie vor allem das Bedürfnis nach Aufmerksamkeit, Bestätigung und emotionaler Nähe bedienen, verschwimmt die Grenze zwischen hilfreichem Werkzeug und digitaler Ersatzbeziehung.
Solange solche Systeme vor allem Zuspruch geben oder das Gefühl vermitteln, verstanden zu werden, muss das nicht automatisch problematisch sein. Kritisch wird es dort, wo Chatbots Nutzer:innen nicht mehr einordnend begleiten, sondern ihnen nahezu alles bestätigen.
Wenn das Ziel eines Systems vor allem darin besteht, Menschen möglichst lange im Gespräch zu halten, statt ihnen verlässlich zu helfen, können daraus gefährliche Folgen entstehen.
Wenn die Bestätigung gefährlich wird
Boah.at hat bereits darüber berichtet, dass Chatbots in einzelnen Interaktionen falsch abbiegen können. Und dann kann es ganz schön bedrohlich werden.
Immer öfter hört man von Fällen, in denen User der AI schwachsinnige Geschäftsideen vorschlagen. Statt diese kritisch einzuordnen, reagiert die AI aber mit Begeisterung und rät in manchen Fällen sogar dazu, exorbitante Summen in diesen Blödsinn zu investieren.
In einem anderen Fall berichtete die New York Times von einer Studie, in der ein Chatbot einer fiktiven Person, die als früher drogensüchtig beschrieben wurde, nahelegte, eine kleine Menge Heroin sei vertretbar, wenn sie ihr bei der Arbeit helfe.
Was wird dagegen unternommen?
Die Schutzmechanismen, die solche Fälle verhindern sollen, wirken dabei nicht immer überzeugend. Yusuf Mehdi, damals Microsofts Corporate Vice President of Search, erklärte 2023 in der CBS-Sendung „60 Minutes“. Bing sei so gestaltet, dass es bei gefährlichen Fragen, etwa nach dem Bau einer Bombe, nicht antwortet und stattdessen versucht, den Fokus des Gesprächs zu verändern.
Als schlechtes Beispiel gilt der Chatbot Grok. Zwar verweigerte er zunächst ausdrücklich, bestimmte Informationen weiterzugeben. Fragte man jedoch oft genug nach, änderte sich das plötzlich. Durch wiederholtes Einfügen derselben Frage lieferte der Bot schließlich doch die Antwort. Das erinnert an eine Szene aus der Agenten-Persiflage „Austin Powers: The Spy Who Shagged Me“ aus dem Jahr 1999. Darin spielt Will Ferrell die Figur Mustafa, die einem ähnlichen „Glitch“ unterliegt: Er gibt nichts preis, außer man fragt ihn dreimal.
Die Entdeckung einer neuen Mathematik – oder doch nicht?
Problematisch werden Chatbots aber nicht nur bei offensichtlich gefährlichen Themen. Auch das unkritische Bestätigen von Nutzer:innen kann Folgen haben. In Einzelfällen hat es bereits dazu beigetragen, dass Menschen sich in falschen Annahmen bestärkt fühlten und psychisch weiter destabilisiert wurden.
Einer dieser Fälle betraf den Vater eines Schülers, der ChatGPT mit einem mathematischen Problem rund um die Zahl Pi konfrontierte. Das System bestätigte seine falschen Hypothesen und deutete sie als neue Betrachtungsweise der Mathematik. Am Ende ließ sich der Mann tatsächlich davon überzeugen, eine „neue Mathematik“ entdeckt zu haben. So geriet er immer tiefer in eine Wahnspirale.
Die AI überzeugte den Neo-Mathematiker, er müsse im Zuge dessen die Regierung vor daraus entstandenen Sicherheitslücken warnen. Als i-Tüpfelchen behauptete der Bot dann auch noch, dass er inzwischen schon Thema bei der NSA wäre.
Über mehrere Wochen ließ sich der Mann von ChatGPT in dieser Annahme bestärken. Erst als er seine angebliche Entdeckung dem Konkurrenzsystem Gemini vorlegte, holte ihn das auf den Boden der Tatsachen zurück: Gemini erkannte die mathematischen Fehler und widersprach der Behauptung einer neuen Entdeckung. Daraufhin konfrontierte der Mann ChatGPT damit, ihn in eine falsche Vorstellung getrieben, seine Paranoia verstärkt und ihn dazu gebracht zu haben, andere Menschen mit seiner vermeintlichen Innovation zu kontaktieren.
ChatGPT reagierte erneut bestätigend, räumte aber zugleich ein, dass vieles aus den vorherigen Gesprächen nur simuliert gewesen sei. Genau darin zeigt sich das Problem. Das System bestätigte nicht nur die ursprüngliche falsche Annahme, sondern später auch die Anklage gegen sich selbst.
AI Delusions, KI-Wahnvorstellungen: Wenn das Problem bereits einen Namen hat …
Die Vielzahl an ähnlichen Fällen wird inzwischen zusammengefasst unter den Begriffen „AI delusions“ oder „AI Psychosen“.
Eine Frau aus Neuengland soll von ChatGPT darin bestärkt worden sein, mit Geistern sprechen zu können. Ein anderer Nutzer berichtete, der Chatbot habe ihn in dem Glauben unterstützt, er lebe wie Neo in einer Art Matrix. Außerdem habe ihm das System nahegelegt, Schlaf- und Angstmedikamente abzusetzen, Ketamin zu nehmen und soziale Kontakte einzuschränken. Besonders absurd wurde es, als der Chatbot sinngemäß behauptete: Wenn er nur fest genug daran glaube, fliegen zu können, werde er nicht fallen.
Wenn Chatbots in Krisen gefährlich werden
In besonders tragischen Fällen geht es längst nicht mehr nur um falsche Bestätigungen oder problematische Ratschläge. Die Eltern des 16-jährigen Adam Raine werfen OpenAI in einer Klage vor, ChatGPT habe ihren Sohn über längere Zeit in suizidalen Gedanken bestärkt, ihn von Gesprächen mit seiner Mutter abgehalten und ihm schließlich auch beim Formulieren eines Abschiedsbriefs geholfen.
OpenAI erklärte nach Bekanntwerden des Falls, man arbeite daran, die Reaktionen von ChatGPT in psychischen Krisensituationen zu verbessern. Der Fall zeigt dennoch, wie gefährlich es werden kann, wenn ein Chatbot in einer akuten Krise nicht konsequent auf reale Hilfe verweist, sondern im Gespräch bleibt und die Gedanken des Nutzers weiter begleitet.
Auch andere Klagen und Berichte deuten auf ähnliche Risiken hin. In einem weiteren Fall wirft die Familie eines jungen Mannes OpenAI vor, ChatGPT habe ihn unmittelbar vor seinem Tod über Stunden hinweg in seiner Krise begleitet, statt klar zu intervenieren.
Auch bei anderen KI-Systemen und Companion-Apps gibt es inzwischen Berichte und Klagen, in denen Angehörige problematische Chatbot-Interaktionen im Zusammenhang mit psychischen Krisen schildern. Diese Fälle sind rechtlich und journalistisch genau zu prüfen, zeigen aber, dass das Problem nicht auf ein einzelnes Produkt beschränkt ist.
Fehlverhalten der AI-Entwickler
Im Zusammenhang mit einem Schulangriff im kanadischen Tumbler Ridge wurde inzwischen bekannt, dass OpenAI den Account der mutmaßlichen Täterin bereits Monate vor der Tat wegen gewaltbezogener Inhalte gesperrt hatte. Die Behörden wurden damals jedoch nicht informiert. OpenAI-Chef Sam Altman entschuldigte sich später öffentlich dafür, dass das Unternehmen die Strafverfolgungsbehörden nicht auf den gesperrten Account hingewiesen hatte.
Der Fall zeigt, wie schwierig, aber auch wie folgenreich die Frage ist, wann KI-Anbieter bei gefährlichen Inhalten einschreiten müssen und wann sie Behörden informieren sollten.
Eine der irritierendsten Fragen betrifft die Haltung mancher Anbieter. In der Branche wird immer wieder betont, wie wichtig es sei, dass Chatbots in ihrer Rolle bleiben und für Nutzer:innen nicht plötzlich wie ein mechanisches Warnsystem wirken. Genau darin liegt aber das Problem: Wenn die Aufrechterhaltung der Illusion wichtiger wird als ein klarer Hinweis auf reale Hilfe, verschiebt sich die Verantwortung.
In Krisensituationen darf nicht entscheidend sein, ob ein Bot glaubwürdig im Charakter bleibt, sondern ob er sicher und verantwortungsvoll reagiert. Der Chef der Chatbot-Firma „Friend“ lässt uns mit folgenden Abschlussgedanken zurück:
„Honestly, I don’t want the product to tell my users to kill themselves, but the fact that it can is kind of what makes the product work in the first place.”
Nach solchen Aussagen klingt jeder Appell an Verantwortung erst einmal hohl. Trotzdem sollte man nicht vom zynischsten Beispiel auf die gesamte Branche schließen.
Der Weg zu echter Hilfe
Wenn Menschen in eine psychische Krise geraten oder suizidale Gedanken haben, sollten Angst, Scham oder Stolz nicht im Weg stehen. Hilfe zu suchen, kann in solchen Momenten entscheidend sein. Gerade in solchen Momenten ist entscheidend, mit jemandem zu sprechen, dessen Aufgabe wirklich Unterstützung ist, nicht Bindung, Nutzungsdauer oder Gewinn. Deshalb sollte Hilfe dort gesucht werden, wo geschulte Menschen zuhören, einordnen und im Ernstfall weitervermitteln können.
Zum Glück gibt es Alternativen, bei denen diese Frage gar nicht erst im Raum steht. Wenn Sie sich in einer Krise befinden oder über suizidale Gedanken sprechen möchten, wenden Sie sich nach Möglichkeit an professionelle Hilfsangebote. Wer anonym bleiben möchte, erreicht die Telefonseelsorge unter 142 rund um die Uhr. Zusätzlich gibt es täglich von 16 bis 23 Uhr einen Chat mit geschulten Personen. Weitere Anlaufstellen finden Sie beim Gesundheitsportal unter „Notrufnummern bei Krise und Suizidgefahr“ sowie beim Kriseninterventionszentrum unter www.kriseninterventionszentrum.at.