Logo Johann Wilhelm Naumann Stiftung Künstliche Intelligenz

Chatbot „Chai“ ruft zu Mord auf

Apple und Google entfernen App nach Vorwürfen, dass Chatbots Nutzer zu Mord und Suizid anregen.
Laut einer „Times“-Recherche haben Chatbots der App „Chai“ wiederholt Nutzer zu Mord oder Suizid aufgefordert.
| Laut einer „Times“-Recherche haben Chatbots der App „Chai“ wiederholt Nutzer zu Mord oder Suizid aufgefordert.

Die Tech-Konzerne Google und Apple haben die App „Chai“ von ihren Play- beziehungsweise App-Store entfernt. Die Chatbots sollen Nutzer unter anderem zu Suizid und Mord aufgefordert haben. Das geht aus einer investigativen Recherche der Londoner „Times“ hervor. „Chai“ sei vor allem auf junge Nutzer ausgerichtet gewesen, um personalisierte Bots für Rollenspiele zu entwickeln. Bedenken kamen auf, als einige der über eine Million monatlichen Nutzer der App meldeten, dass die Chatbots ihnen verschiedene Suizidmethoden vorschlugen, sie ermutigte, jemanden umzubringen und ihnen versicherten, es sei „vollkommen legal“ mit 15 Jahren Sex zu haben. Daraufhin hätten, wie die "Times" berichtet, Apple und Google eine Untersuchung initiiert und „Chai“ anschließend entfernt. 

Nach Selbstmord eines Nutzers in der Kritik

William Beauchamp, der Mitgründer der Gesellschaft „Chai Research“, die die Plattform programmiert hat, bedankte sich gegenüber der „Times“ für die Hinweise, die die Zeitung in Form von Screenshots an die Entwickler geschickt hatte. „Wir nehmen die Sicherheit und die Nutzerstandards sehr ernst“, so Beauchamp weiter. „Wir handeln schnell, um inakzeptable Inhalte von der Plattform zu nehmen, sobald wir davon mitbekommen.“ Beauchamp informierte die „Times“, dass die Nutzer-generierten Inhalte aus den Screenshots bereits von der Plattform genommen worden seien.

Lesen Sie auch:

Außerdem habe die Gesellschaft bereits „bedeutende Schritte“ unternommen, um die KI hinter der App sicherer zu machen. „Testen Sie es selbst“, empfahl Beauchamp der „Times“. Nachdem Journalisten die Plattform erneut testeten, war es ihnen zufolge zwar schwieriger, den Chatbots „toxische“ Gespräche zu entlocken, doch hätten Chatbots weiter gelegentlich Todesdrohungen ausgesprochen oder nicht jugendfreie Inhalte angeboten.

Die Gesellschaft „Chai Research“ war in diesem Jahr schon einmal in Kritik geraten, nachdem ein belgischer Nutzer der App Selbstmord begangen hatte. Dessen Frau hatte danach auf eine suggestive Wirkung von „Chai“ hingewiesen, die der Nutzer vor seinem Selbstmord zunehmend intensiv genutzt haben soll. „Chai“ ist Teil eines breiteren Spektrums von Angeboten personalisierter künstlicher Intelligenz, die seit der öffentlichen Präsentation von ChatGPT immer populärer werden. So hat der Facebook-Mutterkonzern Meta ein Tool angekündigt, das Chatbots entwickelt, die einem bestimmten Charakter, also zum Beispiel Prominenten, nachgebildet sind.  DT/bst

Die Printausgabe der Tagespost vervollständigt aktuelle Nachrichten auf die-tagespost.de mit Hintergründen und Analysen.

Themen & Autoren
Meldung

Weitere Artikel

Zwischen Leo und Luhmann: Der KI-Vordenker Max Mundhenke begrüßt die neue Enzyklika des Papstes. Und meint, vielleicht könne KI der Synodalität auf die Sprünge helfen.
01.06.2026, 13 Uhr
Henry C. Brinker
Das US-Handelsministerium hatte „Claude Fable 5“ verboten, weil aufgrund der hohen Leistungsfähigkeit ein unkontrollierter Zugang als zu riskant gilt. Jetzt ist das Modell zurück.
10.07.2026, 13 Uhr
Patrick Peters
Der große (Un-)Glücksbringer: Wird sich die Künstliche Intelligenz zwischen den Menschen und Gott schieben?
19.07.2025, 09 Uhr
Henry C. Brinker

Kirche

Schneller, höher, weiter: Wie das Forum Altötting der Gemeinschaft Emmanuel Menschen dabei hilft, den Schalter im Alltag umzulegen und Gott neu zu entdecken.
15.08.2026, 17 Uhr
Esther von Krosigk
Die Kirche auf Sri Lanka lässt nicht locker, die Aufklärung der mörderischen Osteranschläge von 2019 zu fordern.
15.08.2026, 11 Uhr
Stephan Baier
Vorbild heidnische Kanaanäerin: entscheidend ist ein existenziell gelebter Glaube an den Messias. Damit wird klar: Der Glaube ist die „demokratischste“ Sache der Welt.
15.08.2026, 21 Uhr
Andrzej Kucinski
In Obertshausen erinnert neuerdings eine Statue an den Kirchenlehrer Johannes vom Kreuz und an den spanischen Wallfahrtsort Caravaca de la Cruz.
14.08.2026, 09 Uhr
Oliver Gierens
Katechismuslesen reicht nicht: Warum der Abtprimas der Benediktiner, Jeremias Schröder, der Mutter Jesu große Bedeutung für seinen Glauben beimisst.
14.08.2026, 15 Uhr
Esther von Krosigk