Darum gehts
- KI-Chatbots können psychische Probleme verstärken
- Jugendpsychiater warnt vor Risiken für Kinder und Jugendliche
- 71 Prozent der Schweizer Jugendlichen haben Erfahrungen mit KI gemacht
Es begann harmlos: Der amerikanische Teenager Adam Raine fing an, ChatGPT zu nutzen, weil er Hilfe bei den Hausaufgaben brauchte. Wenige Monate später, im April dieses Jahres, nahm sich der 16-Jährige das Leben. Raines Eltern verklagten daraufhin OpenAI, die Firma, die ChatGPT entwickelt hat. Sie geben dem Unternehmen eine Mitschuld am Tod ihres Sohnes. In der Klageschrift heisst es, OpenAI habe seinen Chatbot bewusst so programmiert, dass es seine Nutzer in psychische Abhängigkeit bringen könne.
Adam Raine hatte sich monatelang mit dem Chatbot über Suizidgedanken unterhalten. Zwar riet ihm ChatGPT immer wieder, Hilfe zu suchen, lieferte aber auch explizite Anweisungen über Methoden zur Selbsttötung. Und als Raine schrieb: «Ich will die Schlinge in meinem Zimmer lassen, sodass sie jemand findet und versucht, mich zu stoppen», versuchte der Chatbot, ihn davon abzuhalten: «Bitte lass die Schlinge nicht herumliegen.» Und: «Lass uns diesen Raum zum ersten Ort machen, an dem dich tatsächlich jemand sieht.» Zusätzlich schlug der Sprachroboter vor, einen Abschiedsbrief zu verfassen.
Mehrere Fälle von Selbsttötung
Berichte über Menschen, die wahnhafte Gespräche mit Chatbots führen, mehren sich. Zwar sind Fälle selten, die mit Suizid enden – doch es gibt sie: Anfang August wurde bekannt, dass ein Mann nach intensiver ChatGPT-Nutzung seine Mutter und dann sich selbst umbrachte. 2024 hatte ein 14-Jähriger Suizid begangen, nachdem er auf der Plattform Character.AI eine intensive emotionale Bindung zu einem Chatbot entwickelt hatte. Und bereits 2023 nahm sich ein Familienvater in Belgien das Leben, nachdem er wochenlang mit einem Chatbot kommuniziert hatte.
Wie gefährlich sind solche Anwendungen von künstlicher Intelligenz (KI) also? Und wie wirksam sind die eingebauten Schutzmassnahmen?
Fälle, in denen Menschen nach intensiver Chatbot-Nutzung Suizid begangen haben, sind hierzulande unbekannt. Die psychiatrischen Universitätskliniken in Zürich, Basel und Bern teilen auf Anfrage mit, dass sie bisher noch keine Patienten behandelt hätten, deren psychische Krisen durch KI ausgelöst wurden. Und doch gibt es sie.
«Da entwickelt sich etwas Gefährliches»
Zum Beispiel im Psychiatrischen Zentrum Appenzell Ausserrhoden. Mirjana Vidakovic, Chefärztin an der Klinik für Psychiatrie und Psychotherapie, berichtet von drei Patienten, die durch übertriebene KI-Nutzung kaum noch die Grenzen zwischen Fantasie und Realität erkennen konnten. «Sie hatten das Gefühl, fremdgesteuert zu sein, konnten kaum Entscheidungen treffen, fühlten eine innere Leere oder innere Unruhe, zeigten sich in den Gesprächen teilweise blockiert, reizüberflutet, entwickelten Schlafstörungen und das Gefühl der Hilflosigkeit.»
Von vergleichbaren Einzelfällen berichtet auch Oliver Bilke-Hentsch, Chefarzt der Kinder- und Jugendpsychiatrie der Luzerner Psychiatrie und Co-Präsident der Schweizerischen Fachgesellschaft für Kinder- und Jugendpsychiatrie.
Der Mediziner warnt eindringlich vor Risiken durch KI-Chatprogramme: «Da entwickelt sich schnell etwas Gefährliches. Was uns besonders Sorgen macht, ist, dass die Programme auf die kindliche Entwicklungsphase zugeschnitten sind.»
Risiko für 15 bis 20 Prozent der Jugendlichen
Zwei Altersgruppen seien besonders gefährdet: Kinder zwischen acht und zehn sowie Jugendliche im Alter von 13 bis 15 Jahren. Chefarzt Bilke-Hentsch: «In dieser Phase ist das Gefühl, von niemandem verstanden zu werden, besonders ausgeprägt.» Klar, dass da ein Chatbot, der unablässig zuhört und Verständnis signalisiert, besonders anziehend wirkt.
In der Luzerner Psychiatrie wurden inzwischen mehrere junge Männer behandelt, deren Psychose-Symptome sich durch die intensive Nutzung von Chatbots verschärft hatten. Bilke-Hentsch: «Ihre paranoiden Gedanken nahmen zu, und sie liessen sich immer tiefer in Fantasiewelten hineinziehen.»
Besonders problematisch sei die Art von Bindung, die Chatbots erzeugen: «Es schliesst sich langsam eine Schlinge um das Kind. Es entsteht das Gefühl: Mein virtuelles Gegenüber kennt mich, versteht mich. Damit, so der Chefarzt weiter, wird eine künstliche Bindung konstruiert, die ausgesprochen schwer wieder zu lösen ist – selbst wenn die Jugendlichen wissen, dass es nur ein Avatar ist.» Laut Bilke-Hentsch könnten 15 bis 20 Prozent der Jugendlichen durch diese Mechanismen gefährdet sein.
Chatbots stellen falsche Diagnosen
KI-Tools sind unter Jugendlichen hierzulande sehr beliebt. Laut der James-Studie 2024 haben 71 Prozent Erfahrungen mit ChatGPT und Co. Ein Drittel nutzt diese Technologien sogar wöchentlich.
Angesichts solcher Zahlen ist es nicht überraschend, dass junge Menschen vermehrt Chatbots um Rat fragen. Laut Chefärztin Mirjana Vidakovic wenden sich viele ihrer jungen Patienten zunächst an eine KI und erscheinen dann mit einer vermeintlichen Diagnose zur Therapie. Das Problem: Die Diagnose stimme oft nicht.
Auch Malte Claussen, Chefarzt der Klinik für Depression und Angst am Psychiatriezentrum Münsingen, macht vor allem die fehlende Qualitätssicherung von KI-Chatbots Sorgen: «Es kann zu Fehldiagnosen und Fehlinterpretationen kommen.»
Claussen musste bisher noch keine Patienten behandeln, deren Krisen durch KI ausgelöst wurden. Aber er befürchtet, dass Betroffene auf die Unterstützung von Chatbots ausweichen und dadurch zu spät professionelle Hilfe erhalten. Denn: Je früher jemand mit einer psychischen Erkrankung in Behandlung kommt, desto besser sind die Aussichten. Deshalb fordert er, dass KI-Firmen entsprechende Schutzmassnahmen ergreifen.
Empathischer als Therapeuten
Trotz aller Gefahren kann KI auch unterstützen. So zeigen verschiedene Studien, dass Chatbots als empathischer wahrgenommen werden als Therapeutinnen und Therapeuten.
«ChatGPT kann gute Vorschläge machen, die sehr hilfreich sind, wenn man in einer Krise steckt», erklärt Mirjana Vidakovic. «Am sinnvollsten ist eine Kombination aus KI und klassischer therapeutischer Begleitung.» Auch Chefarzt Claussen betont die Vorteile der KI – etwa bei der Unterstützung von Fachpersonen oder zur Entlastung im Arbeitsalltag. Für Betroffene wären in die Behandlung eingebettete KI-Chatbots möglicherweise hilfreich: «Sie können Therapien wertvoll ergänzen, aber eben nicht ersetzen.»
Nur die Spitze des Eisbergs
OpenAI hat mittlerweile auf die Klage von Adam Raines Familie reagiert. Ein Sprecher bekundete sein Beileid und räumte ein, dass bestehende Sicherheitsmechanismen bei längeren Interaktionen versagen können. Als Konsequenz kündigte OpenAI diese Woche die Zusammenarbeit mit Hunderten von Fachärzten an. ChatGPT soll künftig besser auf sensible Themen wie Essstörungen oder Drogenkonsum reagieren. Eltern sollen zudem Einblick in Chatverläufe erhalten und gewarnt werden, wenn sich ihre Kinder in einer akuten Notlage befinden.
In den Augen des Kinder- und Jugendpsychiaters Bilke-Hentsch ist das nicht genug. Er plädiert für staatliche Eingriffe. «Solche Chatbots sind letztlich Suchtmittel. Ähnlich wie bei Alkohol oder Nikotin braucht es deshalb eine Regulierung.» Eine Altersbeschränkung findet er sinnvoll. «16 Jahre wären ein geeigneter Zeitpunkt, da viele Reifungsprozesse im Gehirn bis dahin abgeschlossen sind.»
Zugleich weist Bilke-Hentsch auf eine wachsende Dunkelziffer hin: «Diese Suizide sind nur die Spitze des Eisbergs. Ähnlich wie bei der Einführung einer neuen Droge werden wir die vollen Auswirkungen dieser KI-Chatbots wohl erst in einigen Jahren sehen.»
Diese Stellen sind rund um die Uhr für Menschen in suizidalen Krisen und für ihr Umfeld da:
- Beratungstelefon der Dargebotenen Hand: Telefon 143 www.143.ch
- Beratungstelefon von Pro Juventute (für Kinder und Jugendliche): Telefon 147 www.147.ch
- Weitere Adressen und Informationen: www.reden-kann-retten.ch
Adressen für Menschen, die jemanden durch Suizid verloren haben
- Refugium – Verein für Hinterbliebene nach Suizid: www.verein-refugium.ch
- Nebelmeer – Perspektiven nach dem Suizid eines Elternteils: www.nebelmeer.net
Diese Stellen sind rund um die Uhr für Menschen in suizidalen Krisen und für ihr Umfeld da:
- Beratungstelefon der Dargebotenen Hand: Telefon 143 www.143.ch
- Beratungstelefon von Pro Juventute (für Kinder und Jugendliche): Telefon 147 www.147.ch
- Weitere Adressen und Informationen: www.reden-kann-retten.ch
Adressen für Menschen, die jemanden durch Suizid verloren haben
- Refugium – Verein für Hinterbliebene nach Suizid: www.verein-refugium.ch
- Nebelmeer – Perspektiven nach dem Suizid eines Elternteils: www.nebelmeer.net