Endstation Pädo-Deepfakes? Die Grok-Krise und ihre Folgen

Florian Bodoky

13.1.2026

Nachdem Grok auf Verlangen Deepfake-Nacktbilder erstellt hat – teils von Kindern –, will das Vereinigte Königreich neue Gesetze erlassen. Trotz Musks Zensur-Vorwürfen gehen sie entschlossen vor. Und die Schweiz?

Das Vereinigte Königreich reagiert auf Deepfake-Nacktbilder, darunter auch von Minderjährigen, die mit der KI Grok entstanden sind, der Künstlichen Intelligenz, die Teil von Elon Musks Firma xAI ist. Die britische Regierung lässt in einer Medienmitteilung verlauten, dass sie die «unkontrollierte Erzeugung und Verbreitung solcher Inhalte als ernste Rechtsverletzung» betrachtet und «die zuständigen Behörden angewiesen hat, alle vorhandenen rechtlichen Instrumente auszuschöpfen, um diese Praxis zu unterbinden».

Liz Kendall, Staatssekretärin für Wissenschaft, Innovation und Technologie, erklärte, dass die Regierung plant, die Erzeugung nicht einvernehmlicher Deepfakes von Personen in knapper oder ohne Bekleidung als gesonderten Straftatbestand einzuführen. Die Medienaufsichtsbehörde Ofcom hat zudem eine Untersuchung eröffnet, um zu prüfen, ob die Plattform X ihre Pflichten unter dem Online Safety Act erfüllt hat.

(BOX Der Online Safety Act 2023 ist ein Gesetz des britischen Parlaments zur Regulierung von Online-Inhalten. Das britische Pendant des Digital Services Act verpflichtet Plattformen ab einer gewissen Grösse dazu, gegen illegale Inhalte vorzugehen und User wirksam vor schädlichem Material zu schützen. Inhalte wie nicht einvernehmliche intime Bilder, zu denen auch KI-Deepfakes zählen, gehören zu den sogenannten «Priority Offences» im Gesetz. Plattformen müssen proaktive, angemessene Massnahmen ergreifen, um solche Inhalte zu verhindern und zu entfernen. Für Verstösse drohen Geldbussen von bis zu 18 Millionen Pfund (rund 19.4 Millionen Schweizer Franken) oder bis zu 10 Prozent des weltweiten Umsatzes. Ofcom kann in gravierenden Fällen bei Gericht «Business Disruption Measures» beantragen, beispielsweise Sperrungen oder Abschaltungen von Diensten im britischen Internetmarkt.)

Eine zentrale Frage der Untersuchung dürfte sein, ob X und dessen Betreiber proaktiv und ausreichend gegen den Missbrauch vorgehen. Dass X die Bildgenerierung auf zahlende Nutzer beschränkt, reicht den britischen Behörden nicht und auch die reaktiven Massnahmen seien ungenügend. Hierzu äusserte sich Premierminister Keir Starmer sehr deutlich: «Wenn X Grok nicht kontrollieren kann, werden wir das tun». Er hat Ofcom dazu aufgefordert, «alle Optionen zu prüfen» – und schliesst damit auch eine Grok-Sperrung im Vereinigten Königreich nicht aus.

Grok, X und Elon: Was ist eigentlich passiert?

2025 spendierte xAI dem Chatbot ein Bild- und Videogenerierungs-Feature. Über Prompts können Nutzer und Nutzerinnen auch Bilder editieren. Binnen weniger Tage verbreiteten sich sexualisierte und hüllenlose Darstellungen von realen Personen auf der Plattform, hauptsächlich Frauen. Darunter auch Fälle von minderjährigen Personen. Die üblichen Schutzmechanismen funktionierten nicht immer: Anfragen, die eindeutig gegen ethische und rechtliche Grenzen verstiessen, wurden trotzdem ausgeführt. Trotz wiederholter Beschwerden und Berichte blieb die Funktion zeitweise aktiv. Auf die Kritik und die Pläne der britischen Regierung reagierte Besitzer Elon Musk zunächst in gewohnter Weise: Er kritisierte diese öffentlich, nannte die Interventionen «Zensur».

Kürzlich limitierte X die bildbasierte Grok-Funktion auf zahlende Abonnenten, um eine Rückverfolgbarkeit zu ermöglichen. X betont, dass illegale Inhalte gelöscht und verantwortliche Accounts gesperrt würden. Auch Grok selbst generierte eine Entschuldigung. Kritiker weisen jedoch darauf hin, dass technische Sperren weiterhin umgangen werden können, etwa über externe Grok-Seiten.

Was passiert in der EU und der Schweiz?

Die Europäische Union hat in Reaktion auf die Grok-Vorfälle bereits im Vorjahr Regulierungsrahmen wie den Digital Services Act (DSA) und den AI Act entwickelt, um die Verbreitung von schädlichen KI-Inhalten einzudämmen. Die Behörde hat X aufgefordert, alle internen Grok-bezogenen Daten und Dokumente zu sichern und prüft die Einhaltung der europäischen Anforderungen. Die EU liess verlauten, dass sie «sexualisierte Deepfake-Bilder, insbesondere von Minderjährigen, als rechtswidrig betrachte» und «ihre Entfernung und Vermeidung aktiv verfolge». In der Schweiz gibt es kein dediziertes Gesetz speziell für Deepfake-Technologien. Der Nationalrat hat im Mai 2025 eine Motion der Grünen, die eine spezifische Regulierung für Deepfakes forderte, mit klarer Mehrheit abgelehnt. Der Bundesrat argumentierte, dass die bestehenden, «technologieneutral ausgelegten» Gesetze ausreichend seien. Dabei erwähnte die Schweizer Exekutive die Bestimmung gegen Identitätsmissbrauch StGB Art. 179 ff..

Zudem wurde das Eidgenössische Justiz- und Polizeidepartement (EJPD) nach der Unterzeichnung der «Europaratskonvention zu KI» mit der Ausarbeitung einer entsprechenden Vernehmlassungsvorlage beauftragt, die bis Ende 2026 vorliegen soll. Der Eidgenössische Datenschutz- und Öffentlichkeitsbeauftragte (EDÖB) verwies zudem auf das 2023 revidierte Datenschutzgesetz DSG, welches «direkt auf KI anwendbar ist».

Das die Schweiz aber auch gegen KI-Generierte Inhalte per se vorgeht, zeigte ein kürzlicher Fall: Das Schweizer Bundesgericht entschied kürzlich, dass pornografische Inhalte mit digital verjüngten Erwachsenen, die wie Minderjährige aussehen, als illegal gelten. Dies stützt sich auf Bestimmungen zum Schutz vor «nicht realer» Kinderpornografie im Strafgesetzbuch. Komplett zahnlos wäre die Schweizer Rechtsprechung tatsächlich nicht.

Florian Bodoky

Editor

Florian.Bodoky@digitecgalaxus.ch

Seit ich herausgefunden habe, wie man bei der ISDN-Card beide Telefonkanäle für eine grössere Bandbreite aktivieren kann, bastle ich an digitalen Netzwerken herum. Seit ich sprechen kann, an analogen. Wahl-Winterthurer mit rotblauem Herzen.

---

Hintergrund

Interessantes aus der Welt der Produkte, Blicke hinter die Kulissen von Herstellern und Portraits von interessanten Menschen.

Alle anzeigen

Diese Beiträge könnten dich auch interessieren