Stellungnahme zur Regulierung der Kommunikationsplattformen zum Schutz der Kinder

1. Notwendigkeit der Regulierung

Da die Kommunikation und Informationsbeschaffung sich zunehmend in den digitalen Raum verlagert und über Kommunikationsplattformen stattfindet, welche durch private Tech-Grosskonzerne nach eigenen wirtschaftlichen Zielen und Interessen gestaltet werden, ist es unbedingt angezeigt, dass Nutzer:innen mehr Transparenz einfordern können, ihre Rechte gewahrt und insbesondere Kinder und Jugendliche vor Gewalt und ungeeigneten Inhalten geschützt werden.

Kinderschutz Schweiz begrüsst die öffentliche Debatte um die Rolle und Pflichten der Kommunikationsplattformen und mögliche Altersgrenzen für die Nutzung.

Leider lässt die schon mehrfach verschobene Vernehmlassung zum Vorentwurf des Bundesgesetzes über Kommunikationsplattformen und Suchmaschinen (KomPG) weiter auf sich warten. Weil die Plattformen unterdessen weiterhin rege genutzt und viele Kinder dabei Formen von Gewalt erfahren, bringt Kinderschutz Schweiz die nachfolgenden Punkte in den öffentlichen Diskurs ein – mit dem Ziel, Kommunikationsplattformen so zu regulieren, dass Kinder möglichst vor Gewalt geschützt sind.

Aktuell begegnet die Schweiz der nachweislich zunehmenden Gefahr, dass Kinder im Netz digitaler sexualisierter Gewalt ausgesetzt sind, lückenhaft und mit einem regulatorischen Flickenteppich. Das Datenschutzgesetz trägt der Tatsache, dass jüngere Kinder nur schwer abschätzen können, welche Auswirkungen eine Veröffentlichung ihrer Daten im Netz zur Folge haben kann, kaum Rechnung. Das Zivilgesetzbuch sieht hauptsächlich die Eltern in der Pflicht, ihre Kinder vor digitaler Kindeswohlgefährdung zu schützen. Zwar bringt das Bundesgesetz über den Jugendschutz in den Bereichen Film und Video punktuelle Verbesserungen, indem es spezifische Plattformen zu Jugendschutzmassnahmen verpflichtet¹. Es fehlt jedoch ein umfassender gesetzlicher Rahmen, der alle betroffenen digitalen Dienstleistungserbringer verpflichtet, Verantwortung zu übernehmen und Kinder und Jugendliche vor schädlichen Folgen der Nutzung von Kommunikationsplattformen zu schützen. Dies muss das angekündigte KomPG leisten.

2. Gewalt an Kindern und Jugendlichen auf Kommunikationsplattformen

2.1 Digitale sexualisierte Gewalt an Kindern

Gemäss der JAMES-Studie wurden im Jahr 2022 knapp 50% der Jugendlichen in der Schweiz schon einmal online von einer fremden Person mit unerwünschten sexuellen Absichten angesprochen (im Vergleich: der Umfragewert lag im Jahr 2018 bei 30%, im Jahr 2014 bei 19%)². Die Studienergebnisse für das Jahr 2024 ergaben, dass im Verlauf der vergangenen zwei Jahre 33% der befragten Jugendlichen schon einmal erlebt haben, dass Fremde mit ihnen im Netz über Sex reden wollten, 32% wurden mit unerwünschten sexuellen Absichten angesprochen und 26% wurden ermutigt, erotische Fotos von sich zu verschicken. 8% der Befragten wurden zu sexuellen Handlungen vor der Webcam aufgefordert³.

Online-Kommunikationsplattformen erleichtern den direkten Zugang zu Kindern. Studien belegen, dass soziale Medien und Online-Spielplattformen mit Chat-Funktion von Personen mit pädokriminellen Absichten gezielt dazu missbraucht werden, mit Kindern und Jugendlichen in Kontakt zu treten. Danach werden sie auf End-zu-End verschlüsselte Kommunikationskanäle gelockt, wo kaum Überwachung möglich ist und Kinder unbeobachtet in eine Konversation verwickelt werden mit dem Ziel, sie sexuell auszubeuten⁴. Dabei finden diverse Straftaten statt, die unter den Begriff der digitalen sexualisierten Gewalt an Kindern fallen: Massive sexuelle Belästigung, die Vorbereitung eines Kindes auf ein angestrebtes Treffen mit der Tatperson zum Zweck sexueller Handlungen (Grooming) oder das Verleiten zu sexuellen Handlungen vor laufender Bildschirmkamera, wobei so entstandene Videos und Bilder wiederum millionenfach im Verborgenen geteilt werden. Auch die Herstellung und Verbreitung von pädokriminellen Inhalten ist digitale sexualisierte Gewalt, welche über Online-Kommunikationsplattformen befeuert wird. Algorithmen von Anbietern verbreiten automatisch illegale Inhalte an offenbar interessierte Nutzer:innen.

Die Anzahl pädokrimineller Inhalte im Netz nimmt exponentiell zu. Videos und Bilder von Kindern, die sexualisierte Gewalt erleben, werden innert Sekunden weltweit geteilt. Hinzu kommt pädokriminelles Material, welches mittels KI-Tools hergestellt wird. Das National Center for Missing and Exploited Children NCMEC⁵, das die Meldestelle «CyberTipline» betreibt, hat im Jahr 2023 mehr als 36 Millionen Verdachtsmeldungen über pädokriminelles Material und über 100 Millionen darin enthaltene Files entgegengenommen – das sind mehr als 250'000 Files mit mutmasslich pädokriminellem Inhalt pro Tag oder drei Files pro Sekunde. Zwischen 2021 und 2023 dokumentierte NCMEC ferner eine Zunahme von 300% der Meldungen über Online-Anwerbung Minderjähriger zum Zweck der sexuellen Ausbeutung⁶. Laut der Internet Watch Foundation (IWF)⁷ hat insbesondere die Kategorie der besonders gewalttätigen und extremen Inhalte zugenommen⁸, und es wurden über die letzten Jahre hinweg konstant zu weit über 95% Kinder gezeigt, die noch keine 14 Jahre alt sind⁹.

Im Jahr 2023 hat fedpol 14’420 Meldungen des NCMEC über pädokriminelle Verdachtsfälle mit Schweiz-Bezug erhalten – die Zahl hat sich seit 2021 mehr als verdoppelt¹⁰. Gemäss der Internet Watch Foundation war die Schweiz im Jahr 2023 mit über 22'500 Meldungen gar auf Rang 4 der weltweit grössten Hosts pädokriminellen Materials¹¹.

Viele Kinder scheinen sich der Risiken im Netz bewusst zu sein und erachten sich selbst für ihre Sicherheit verantwortlich¹². 

Die Schweiz muss ihre staatliche Schutzpflicht unbedingt auch im digitalen Raum wahrnehmen. Kinder dürfen nicht dem Risiko schwerster Sexualstraftaten ausgesetzt werden. Deshalb müssen Online-Kommunikationsplattformen auch in der Schweiz zu Schutz- und Präventionsmassnahmen vor digitaler sexualisierter Gewalt an Kindern verpflichtet werden.

Aus der Sicht von Kinderschutz Schweiz greift die Regulierung der Plattformen durch die Auflage von überprüfbaren und wirksamen Schutzmassnahmen weiter als ein gesetzlich definiertes Mindestalter für die Nutzung von Social-Media-Plattformen. Denn damit die Verbreitung pädokrimineller Inhalte im Netz möglichst verhindert und auch Kleinkinder ohne eigene Social-Media-Accounts oder Jugendliche, welche eine allfällig gesetzlich definierte Altersgrenze bereits überschritten haben, geschützt werden, müssen die Anbieter konsequent in die Pflicht genommen und zur Rechenschaft gezogen werden. Trotzdem sind angesichts der aktuellen Risiken Alterslimiten notwendig. In Anbetracht der heute verfügbaren Angebote sollte die Alterslimite für einen eigenen Social-Media-Account bei 16 Jahren liegen.

Gesetzliche Massnahmen zum Schutz vor digitaler sexualisierter Gewalt an Kindern müssen über die Landesgrenzen hinweg aufeinander abgestimmt sein. Nur so können Schlupflöcher geschlossen und Plattformen zur Rechenschaft gezogen werden. Diese Harmonisierung fordert nebst zahlreichen führenden Organisationen der Zivilgesellschaft auch der Thinktank WeProtect Global Alliance, in welchem fedpol die Schweiz vertritt.¹³

Die EU hat deshalb im Jahr 2020 eine wegweisende Strategie für eine wirksamere Bekämpfung des sexuellen Missbrauchs von Kindern verabschiedet¹⁴, welche mit mehreren Massnahmen darauf abzielt, die Gesetzgebung der Mitgliedstaaten zu harmonisieren und Online-Kommunikationsplattformen zu Schutzmassnahmen zu verpflichten: Der Digital Services Act verpflichtet Anbieter von Online-Plattformen, die für Minderjährige zugänglich sind, geeignete und verhältnismässige Massnahmen zu ergreifen, um ein hohes Mass an Privatsphäre, Sicherheit und Schutz der Minderjährigen sicherzustellen. Sehr grosse Online-Plattformen und Online-Suchmaschinen müssen eine regelmässige Erhebung der Risiken vornehmen, welche sich aus der Konzeption und Nutzung ihrer Dienste ergeben, wobei nebst dem Risiko der Verbreitung rechtswidriger Inhalte und der nachteiligen Auswirkungen auf die Ausübung der Grundrechte auch die nachteiligen Auswirkungen in Bezug auf den Schutz Minderjähriger zu beurteilen sind. Die Plattformen müssen aufzeigen, welche Massnahmen ergriffen wurden und wie sich diese auf die erkannten Risiken auswirken. Die EU-Datenschutzgrundverordnung trägt der erhöhten Vulnerabilität von Kindern und Jugendlichen Rechnung, indem sie das Mindestalter von 16 Jahren definiert, ab welchem eine Person in die Verarbeitung der personenbezogenen Daten selbst einwilligen kann¹⁵. Zudem hat die EU-Kommission im Frühling 2022 einen «Verordnungsentwurf zur Festlegung von Vorschriften zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern» ausgearbeitet, der als lex specialis in Bezug auf den Digital Services Act konzipiert ist. Dieser konkretisiert das zu erhebende Risiko dahingehend, dass ein Dienst zum Zweck des sexuellen Kindesmissbrauchs im Internet genutzt wird, wobei dieser Begriff gemäss Definition im Gesetzesentwurf sowohl die Verbreitung pädokrimineller Darstellungen im Netz wie auch die missbräuchliche Kontaktaufnahme mit Kindern umfasst. Der Verordnungsentwurf verpflichtet gegebenenfalls zur Altersverifikation der Nutzerinnen und Nutzer und zu angemessenen, wirksamen Risikominderungsmassnahmen. Ähnliche gesetzgeberische Massnahmen wurden in jüngster Vergangenheit auch in UK¹⁶ und Irland¹⁷ verabschiedet.

Damit Kinder und Jugendliche in der Schweiz vergleichbar gut vor digitaler sexualisierter Gewalt im Netz geschützt sind und Plattformbetreiber auch hier zur Rechenschaft gezogen werden für Nutzungskonzepte, welche für Kinder und Jugendliche risikoreich sind, müssen die Regulierungsbemühungen mit denjenigen im europäischen Umfeld schritthalten.

2.2. Psychische Gewalt: Cybermobbing, Hatespeech

Jugendliche Nutzer:innen sind auf Kommunikationsplattformen auch psychischer Gewalt ausgesetzt. Ein Drittel aller Jugendlichen hat bereits Cybermobbing erlitten¹⁸; diese Zahl steigt seit zehn Jahren kontinuierlich an. Auch abwertende und beleidigende Kommentare (sogenannte Hatespeech) sind auf Online-Plattformen häufig. Gut 40 Prozent der 15/16-Jährigen waren selbst schon davon betroffen und wurden aufgrund des Aussehens, der Herkunft, Meinung oder des Verhaltens diskriminierend behandelt.¹⁹ Auch wenn Kinder und Jugendliche Hatespeech als unbeteiligte Dritte mitbekommen, löst dies bei Ihnen mehrheitlich Reaktionen wie Wut, Trauer oder Angst aus.²⁰

Von Seiten des Bundes gibt es keine speziellen Massnahmen, um Kinder vor Hatespeech zu schützen. Der Bund lancierte 2023 im Auftrag des Parlaments eine Onlinekampagne gegen Cybermobbing. Jedoch blieb es bei einer einmaligen Kampagne, für die keine zusätzlichen Ressourcen zur Verfügung gestellt wurden.²¹ Ein fortwährendes Engagement von Bund und Kantonen ist jedoch nötig. Seit längerem prüft das eidg. Parlament die Einführung eines entsprechenden neuen Artikels im Strafgesetzbuch. Zwar würde dieser ein klares Signal senden, doch bedarf es weiterer präventiver Massnahmen, welche auch die Plattformen in die Pflicht nehmen: Kommunikationsplattformen müssen dazu verpflichtet werden, eine Meldemöglichkeit für abwertende und beleidigende Kommentare zu betreiben und diese Inhalte innert maximal 24 Stunden zu löschen. Die Urheber von Hatespeech müssen von den Plattformbetreibern blockiert werden. Zudem sollen letztere eine Content Moderation nach transparenten Kriterien sicherstellen, die Hatespeech vorbeugt.

2.3 Süchtig machende Algorithmen und gefährdende Inhalte als strukturelle Gewalt

Die Plattformen sind so aufgebaut, dass die Nutzer:innen möglichst viel Zeit darauf verbringen und möglichst viele Inhalte konsumieren. Die «problematische Internetnutzung», wie sie im Monitoringsystem Sucht und NCD (MonAM) des Bundesamtes für Gesundheit (BAG) gemessen wird, hat sich bei den 15- bis 19-Jährigen zwischen den Jahren 2017 und 2022 nahezu verdoppelt.²² 40% der 11- bis 15-Jährigen haben bereits erfolglos versucht, weniger Zeit auf sozialen Medien zu verbringen. Fast die Hälfte von ihnen versucht oft, mit dem Konsum von sozialen Medien schlechten Gefühlen zu entkommen.²³ Der Aufbau der Plattformen inklusive der Architektur der Algorithmen ist so gestaltet, dass Neugier-, Lust- und Belohnungsareale im Hirn der Nutzenden angeregt werden. Das führt schnell zu einer Abhängigkeit, gerade bei jugendlichen Nutzer:innen. Das Gehirn von Jugendlichen ist aufgrund der Entwicklungsphase noch nicht in der Lage, den Anreizen der Algorithmen zu widerstehen. Deshalb beschreiben bis zu 15% der Kinder und Jugendlichen ihre Social-Media-Nutzung als problematisch.²⁴

Die Algorithmen spielen den Nutzer:innen Inhalte auf der Basis des individuellen Nutzungsverhaltens ein, mit der Folge, dass sich Nutzer:innen schnell in einem sogenannten «rabbit hole» wiederfinden, wo die Inhalte in kurzer Folge radikaler werden. Es setzt eine sich selbst antreibende Verschärfung ein, die zum Teil zu quasi hermetisch geschlossenen Inhaltswelten führt: Depression, Selbstverletzung, Drogenkonsum, Suizid oder auch religiöse Radikalisierung sind Themen, in die viele Jugendliche in sozialen Medien immer tiefer hineingezogen werden. Bedenkt man, dass fast ein Viertel der 15- bis 19-jährigen Frauen von häufigen Suizidgedanken berichtet und über 7% in den letzten fünf Jahren versucht haben, sich das Leben zu nehmen²⁵, ist die gezielte Zuspielung solcher Inhalte erst recht alarmierend. Die Nutzer:innen sind ihren Streams dabei weitgehend ausgeliefert und konsumieren, was ihnen ausgespielt wird. 49% der männlichen Jugendlichen schauen sich zumindest selten brutale Videos an (bei den Mädchen 24%), 6% der Jugendlichen tun dies sogar täglich oder mehrmals pro Woche.²⁶

Dass Jugendliche verstörenden und verletzenden, teilweise traumatisierenden Inhalten ausgesetzt werden, ist als strukturelle Gewalt zu bezeichnen und darf so nicht akzeptiert werden. Es braucht Schutzmechanismen und eine Begrenzung des Streams, damit nicht endlos neue Inhalte zugespielt werden. Plattformen müssen aktiv verhindern, dass Jugendliche immer tiefer in Inhalte geführt werden, die für ihre Entwicklung störend oder schädlich sind.

3. Was es zum Schutz der Kinder auf Kommunikationsplattformen braucht

Zum effektiven Schutz vor Gewalt an Kindern sollte das KomPG zu umfassenden Massnahmen verpflichten. Dabei sollen sich Regulierungsbemühungen nicht nur auf die Online-Kommunikationsplattformen beschränken, sondern auch andere Anbieter von digitalen Diensten adressieren:

• Online-Kommunikationsplattformen und Hosting-Dienste müssen mutmasslich illegale Inhalte, von denen sie Kenntnis haben oder auf welche sie hingewiesen werden, den Strafverfolgungsbehörden melden, den Zugang dazu umgehend sperren und bei der schnellstmöglichen Löschung der Inhalte mit den Strafverfolgungsbehörden kooperieren.
• Online-Kommunikationsplattformen und Hosting-Dienste müssen Meldeverfahren einrichten, wo Nutzende Fehlverhalten, illegale Inhalte und Gewalt melden können, und mit spezialisierten Diensten (z.B. Take it down von NCMEC) zusammenarbeiten.
• Online-Kommunikationsplattformen und Hosting-Dienste müssen eine regelmässige Risikoanalyse nach definierten Kriterien vornehmen, welche gezielt erhebt:
• inwiefern Kinder bei der Nutzung ihrer Dienste digitaler sexualisierter Gewalt ausgesetzt sind;
• ob ihre Dienste zur Kontaktaufnahme mit Kindern zu kriminellen Zwecken missbraucht werden; oder
• ob pädokriminelle Inhalte verbreitet werden könnten.

Über das Ergebnis der Risikoanalyse ist einer zu definierenden Behörde auf Bundesebene Rechenschaft abzulegen.

• Online-Kommunikationsplattformen und Hosting-Dienste müssen erkannten Risiken mit gezielten, nachweislich wirksamen und verhältnismässigen Massnahmen begegnen, wobei die gesetzliche Verpflichtung so zu formulieren ist, dass sie den jeweils aktuellen, international anerkannten wissenschaftlichen und technologischen Stand zulässt.
• Nutzer:innen, die Hatespeech verbreiten oder andere Nutzer:innen sexuell belästigen, müssen von den Plattformen gesperrt werden.
• Online-Kommunikationsplattformen müssen zur Implementierung von datenschutzkonformen Alterskontroll- und Altersverifikationssystemen verpflichtet werden. Es müssen Mindestalter für die Nutzung der Dienste definiert werden, welche dem Entwicklungsstand des heranwachsenden Menschen Rechnung tragen. Wenn die aktuellen Risiken nicht behoben werden, muss das Mindestalter für einen eigenen Social-Media-Account 16 Jahre betragen. Die Alterslimiten müssen von den Plattformen durchgesetzt werden. Dazu sind entsprechende Druckmittel (bspw. hohe Bussen) im Gesetz vorzusehen.
• Online-Kommunikationsplattformen müssen bei jugendlichen Nutzer:innen den Stream begrenzen, sodass nicht endlos weitergescrollt werden kann. Zudem muss durch die Architektur der Plattform sichergestellt werden, dass jugendliche Nutzer:innen nicht immer tiefer in einen Themenbereich geführt werden. Die verstärkende Wirkung der Algorithmen muss aufgehoben werden. Radikalisierung, selbstverletzendes Verhalten und Zugang zu immer extremer werdenden Inhalten müssen verhindert werden.
• Jugendliche brauchen sozialen Austausch und gesellschaftliche Teilhabe. Der Kontakt zu anderen Jugendlichen via Kommunikationsplattformen kann gerade für marginalisierte Jugendliche sehr wichtig sein. Es braucht Plattformen, die sicher aufgebaut sind und ohne süchtig machende «dark patterns» auskommen. Für sichere Plattformen können tiefere Mindestalter gelten.
• App-Stores müssen angeben, welche Risiken für Kinder und Jugendliche bei der Nutzung der angebotenen Anwendungen bestehen.
• Das System der Risikoanalyse muss mit (finanziellen oder anderen) Sanktionen verbunden werden. Zu begrüssen wäre die Äufnung eines zweckgebundenen Fonds der digitalen Dienstleistungserbringer für die Prävention von Cybersexualdelikten an Kindern. So verzeichnen Konzerne wie Meta oder TikTok weltweit Gewinne in Milliardenhöhe, wobei die Nutzung ihrer Dienste massgeblich zur Verbreitung digitaler sexualisierter Gewalt beiträgt, sind in der Schweiz aktuell aber nicht verpflichtet, einen Präventionsbeitrag zu leisten oder sich auf andere Art an den Kosten dieser gesellschaftlichen Phänomene zu beteiligen.
• Der Bund muss mehr Prävention gegen sexualisierte Gewalt an Kindern und Jugendlichen im Internet und gegen Hatespeech und weitere Gewaltformen betreiben und dieser die notwendigen Mittel zusprechen.

Ferner würde Kinderschutz Schweiz im Rahmen des Gesetzgebungsprozesses eine aktive Auseinandersetzung mit der Frage begrüssen, inwiefern Plattformen zur gezielten, rechtskonformen und verhältnismässigen Anwendung neuer technologischer Massnahmen wie KI-Tools zur Aufdeckung pädokriminellen Materials verpflichtet werden sollten. Dabei ist dem Recht der Kinder auf Schutz vor sexueller Ausbeutung und Schutz ihrer Unversehrtheit genauso Rechnung zu tragen wie anderen Grundrechten. Angesichts der Tatsache, dass die Strafverfolgungsbehörden mit massiven Ressourcenproblemen konfrontiert sind, welche sich im Bereich der Cyberstrafverfolgung noch akzentuieren²⁷, drängt sich zusätzlich die Frage auf, wie dem enormen Ausmass an Cyberpädokriminalität überhaupt wirksam begegnet werden kann.