KI-Chatbots gehören für viele Kinder und Jugendliche längst zum Alltag. Sie unterstützen beim Lernen, beantworten Fragen und werden mitunter auch als Gesprächspartner genutzt. Zunehmend gewinnen auch sogenannte KI Social Companions an Bedeutung – digitale Begleiter, die soziale Beziehungen simulieren und gezielt auf eine längerfristige Interaktion mit ihren Nutzenden ausgerichtet sind. Damit wachsen die Chancen der Technologie, aber auch die Herausforderungen für den Kinder- und Jugendmedienschutz.
Die digitale Veranstaltung „Amicus ex Machina: AI Chatbots and Youth“ brachte Perspektiven aus Wissenschaft, Praxis und dem Kinder- und Jugendmedienschutz zusammen, um die Auswirkungen dieser Entwicklungen auf junge Menschen zu diskutieren. Ein pauschaler Ausschluss von Kindern und Jugendlichen von entsprechenden Angeboten wäre aus Sicht der Teilnehmenden nicht zielführend. Stattdessen brauche es sichere und altersgerechte Rahmenbedingungen für die Nutzung.
„Die Diskussion hat gezeigt: Es geht nicht um ein Entweder-oder zwischen Innovation und Schutz. Kinder und Jugendliche sollen die Chancen von KI nutzen können, ohne mit den Risiken allein gelassen zu werden. Dafür braucht es verlässliche Schutzstandards und kindgerechte Angebote“,
so Sebastian Gutknecht, Direktor der Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ).
Diskutiert wurden sowohl Chancen als auch Risiken. KI kann junge Menschen beim Lernen unterstützen, Denkanstöße geben und den Zugang zu weiterer Hilfe erleichtern. Zugleich können insbesondere auf dauerhafte Interaktion ausgelegte Angebote parasoziale Beziehungen fördern, exzessive Nutzung begünstigen und sich negativ auf die psychische Gesundheit auswirken.
Ein zentrales Ergebnis der Veranstaltung war der Ruf nach klaren Schutzstandards. Die Teilnehmenden diskutierten zusätzliche regulatorische Vorgaben für den Umgang von KI-Systemen in psychischen Krisen, Meldepflichten für schwerwiegende Vorfälle sowie weitere Forschung zu den Auswirkungen von KI-Chatbots und KI Social Companions auf Kinder und Jugendliche. Dr. Nina Vasan von der Stanford University sprach sich dafür aus, dass Deutschland und Europa bei der Regulierung von KI-Chatbots und AI Social Companions eine Vorreiterrolle übernehmen und Maßstäbe für den Schutz junger Menschen setzen solle
Zugleich wurde die Bedeutung von Medienkompetenz hervorgehoben. Kinder und Jugendliche benötigen Wissen über die Funktionsweise und Grenzen von KI-Systemen. Auch Fachkräfte müssen im Umgang mit der neuen Technologie unterstützt werden. Einig waren sich die Teilnehmenden zudem darin, dass KI menschliche Beratung ergänzen, aber nicht ersetzen kann
Die vollständige Ergebniszusammenfassung des digitalen Roundtables „Amicus ExMachina: AI Chatbots and Youth“ im Rahmen der ZUKUNFTSWERKSTATT der BzKJ finden Sie hier.
Über die BzKJ
Die Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ) setzt sich dafür ein, Kindern und Jugendlichen ein gutes Aufwachsen mit Medien zu ermöglichen. Dabei handelt sie im Auftrag des Jugendschutzgesetzes (JuSchG). Zu ihren Aufgaben gehören die Indizierung von jugendgefährdenden Medien, die kontinuierliche Förderung der Weiterentwicklung des Kinder- und Jugendmedienschutzes sowie die Vernetzung aller im Kinder- und Jugendmedienschutz wichtigen Akteurinnen und Akteure. Zudem bietet sie Eltern, Fachkräften, Kindern und Jugendlichen Orientierung für eine möglichst sichere Mediennutzung. Die bei der BzKJ eingerichtete und unabhängige „Stelle zur Durchsetzung von Kinderrechten in digitalen Diensten“ (KidD) überwacht die Einhaltung struktureller Vorsorgemaßnahmen (z. B. sichere Voreinstellungen, Melde- und Abhilfeverfahren etc.) von Online-Plattformen mit Sitz in Deutschland nach dem europäischen Digital Services Act (DSA).