Zum Inhalt springen

KI-Aufsicht: Die Bundesnetzagentur bekommt den Hut auf

Bundesnetzagentur wird Marktüberwacher

Deutschland bekommt den lange erwarteten Rechtsrahmen für Künstliche Intelligenz (KI). Der Bundestag beschloss jetzt mit leichten Änderungen den Gesetzentwurf der Bundesregierung für das nationale Gesetz für die Umsetzung der EU-KI-Verordnung (EU Artificial Intelligence Act – AI Act): das KI-MIG (KI-Marktüberwachungs- und Innovationsförderungsgesetz). Es soll dafür sorgen, dass der Standort Deutschland die Chancen Künstlicher Intelligenz voll ausschöpfen kann, indem es einen innovationsfreundlichen und verlässlichen Rechtsrahmen für KI in Deutschland schafft, so die Bundesregierung. Kritiker wiederum vermissen an dem Gesetz insbesondere eine verbindliche bundeseinheitliche Vollzugspraxis und bemängeln eine zu hohe Belastung durch Dokumentations- und Risikomanagementpflichten für kleine und mittlere Unternehmen (KMU). Insgesamt löse das Gesetz seinen eigenen Anspruch, einen harmonisierten, innovationsfreundlichen Rechtsrahmen zu schaffen, in wesentlichen Teilen noch nicht ein, heißt es in den skeptischen Beurteilungen.

Aus Sicht des deutschen KI-Experten Prof. Marco Barenkamp stellt das Überwinden der letzten parlamentarischen Hürde für das KI-MIG einen bedeutenden Meilenstein dar. „Denn ich weiß aus eigener Aufsichtsratsarbeit, wie dringend Unternehmen auf diesen Rechtsrahmen gewartet haben“, verdeutlicht der Wirtschaftsinformatiker die Bedeutung des neuen Gesetzes für Deutschland.

Vor der Abstimmung im Bundestag hatte der Digitalausschuss des Parlaments mit seiner Zustimmung zu dem im parlamentarischen Verfahren leicht geänderten Entwurf der Bundesregierung den Weg für das KI-Gesetz frei gemacht. Für das Umsetzungsgesetz zum AI Act stimmten die Koalitionsfraktionen von CDU/CSU und SPD. Gegen den Entwurf votierten die Fraktionen von AfD, Grünen und der Linken.

Bundesnetzagentur bekommt Schlüsselaufgabe

Eine zentrale Rolle bei der Regulierung der Künstlichen Intelligenz hierzulande soll laut KI-MIG die Bundesnetzagentur (BNetzA) übernehmen. Sie wird als Marktüberwachungsbehörde für die Einhaltung der KI-Verordnung benannt, soweit diese Aufgabe nicht anderen Fachbehörden zugewiesen ist. Ihr obliegt somit die Marktaufsicht, wenn keine spezialisierten Fachbehörden – wie etwa Finanzbehörden – zuständig sind.

Zudem soll bei der Bundesnetzagentur ein Koordinierungs- und Kompetenzzentrum für die KI-Verordnung (KoKIVO) entstehen, das als Ansprechpartner für europäische Institutionen und zur Bündelung nationaler Expertise fungiert. Dieses KoKIVO werde geschaffen, um alle anderen zuständigen Behörden bei ihren aus der KI-Verordnung resultierenden Aufgaben zu unterstützen und eine einheitliche Rechtsauslegung bei horizontalen Rechtsfragen zu gewährleisten, heißt es in dem Gesetz. Dadurch soll KI-Expertise zentral gebündelt und ressourcenschonend den übrigen Behörden bei Bedarf zur Verfügung gestellt werden.

Um Doppelstrukturen zu vermeiden, sieht das KI-MIG ferner in einem sogenannten hybriden Ansatz vor, bereits existierende Marktüberwachungsstrukturen sowie daneben die Aufsichtsstrukturen im Finanzdienstleistungsbereich zu nutzen. In den übrigen Bereichen, in denen nicht auf bestehende Strukturen zurückgegriffen werden kann, wird die Bundesnetzagentur zuständige Marktüberwachungsbehörde. Weiter ist eine unabhängige KI-Marktüberwachungskammer zur Kontrolle bestimmter Hochrisiko-KI-Systeme bei der Bundesnetzagentur vorgesehen.

Darüber hinaus soll die Behörde als zentrale Anlauf- und Beschwerdestelle dienen. Bürger könnten dort Beschwerden über mögliche Verstöße gegen die KI-Vorschriften einreichen, die dann an die jeweils zuständige Marktüberwachungsbehörde weitergeleitet würden, heißt es in dem angenommenen Gesetzentwurf.

Reallabore für Start-ups

Neben Aufsicht und Koordinierung sind aber auch Maßnahmen zur Innovationsförderung in dem Umsetzungsgesetz vorgesehen. So soll die Bundesnetzagentur Informationsangebote bereitstellen, Beratungsleistungen organisieren sowie mindestens ein sogenanntes KI-Reallabor einrichten und betreiben, in dem neue Anwendungen unter Aufsicht getestet werden können. Das Ziel dabei ist, insbesondere kleinen und mittleren Unternehmen (KMU) sowie Start-ups den Zugang zu KI-Innovationen zu erleichtern.

Risikobasierter Ansatz

Das deutsche Umsetzungsgesetz für den AI Act der EU folgt regulatorisch im Wesentlichen – wie die EU-Verordnung – einem „risikobasierten“ Ansatz, der einfach formuliert beinhaltet: Je höher das Risiko, desto strenger die Vorschriften. Unter „Risiko“ versteht die KI-Verordnung eine Kombination aus zwei Faktoren: Wie wahrscheinlich ist es, dass ein gewisser Schaden auftritt, und wie groß ist der Schaden?

Konkret vorgesehen sind vier Risikostufen: Als inakzeptabel risikobehaftet und deshalb verboten werden KI-Systeme eingestuft, die gegen EU-Grundrechte verstoßen oder eine deutliche Bedrohung für die Sicherheit und Gesundheit von Menschen darstellen. Solche KI-Systeme sind seit dem 2. Februar 2025 in der EU vollständig verboten. Als KI-Systeme mit hohem Risiko gelten solche, die die Gefahr bergen, durch Fehlfunktionen oder bei Missbrauch erheblichen Schaden zu verursachen.

Für KI-Systeme, von denen aus Sicht des Gesetzgebers nur ein geringes Risiko ausgeht, gelten weniger strenge Vorschriften. Hierzu gehören die meisten kommerziellen Anwendungen von KI, wie etwa Chatbots, Empfehlungsalgorithmen oder KI-Systeme zur Erstellung von Text-, Bild- oder Audiomaterial. Und dann sind da noch die KI-Systeme mit minimalem Risiko, wie etwa Spam-Filter. Sie bleiben weitgehend unreguliert, da sie keine signifikanten Risiken darstellen. Auf freiwilliger Basis wird demnach dennoch empfohlen, dass solche Systeme gewissen Prinzipien für vertrauenswürdige KI folgen, z. B. hinsichtlich Fairness und Transparenz.

Der Digitalverband Bitkom wertet den jetzt verabschiedeten Rechtsrahmen für die Umsetzung des europäischen AI Act als eine gute Nachricht für alle Unternehmen, die KI entwickeln oder einsetzen, da sie nun mehr Rechtssicherheit erhalten. Jetzt stehe insbesondere fest, wer in Deutschland für was zuständig ist, stellt der Verband fest. Die Bundesnetzagentur als zentrale Stelle in einem Verbund mit weiteren Behörden zu benennen, hält Bitkom angesichts der komplexen deutschen Zuständigkeiten für einen pragmatischen Schritt. Der Digitalverband warnt jedoch vor einem „Flickenteppich“ bei bestimmten KI-Systemen, wenn die Bundesländer nicht an einem Strang ziehen.

Bloß kein “Flickenteppich”

Die Bundesnetzagentur müsse ihre Koordinierungsfunktion deshalb auch tatsächlich ausüben können, mit verbindlichen Mechanismen und einheitlichen Vollzugshinweisen, fordert Susanne Dehmel, Mitglied der Bitkom-Geschäftsleitung. Andernfalls bekomme Deutschland bei KI statt einer gemeinsamen deutschen Linie 16 unterschiedliche Auslegungen, warnt die Expertin.

Auch der KI Bundesverband, nach eigener Einschätzung das größte Netzwerk für Künstliche Intelligenz in Deutschland, befürchtet „zersplitterte Zuständigkeiten in den Ländern“. Unternehmen mit bundesweiten Produkten – etwa für Schulen – müssten potenziell mit 16 unterschiedlichen Behörden verhandeln, verdeutlicht der Verband das Problem. Insofern könnten unterschiedliche Auslegungen und Verfahren jene Harmonisierung gefährden, die der AI Act bzw. das nationale Umsetzungsgesetz eigentlich bezwecken. Ebenso ist aus Sicht des KI Bundesverbandes keineswegs sichergestellt, dass alle Landesdatenschutzbehörden das erforderliche Personal stellen können, um eine effektive Aufsicht zu gewährleisten.

Was noch fehlt – und der Praxistest

Heise online zitierte außerdem Kritiker, die bemängeln, dass das Gesetz zentrale Forderungen aus Wissenschaft und Zivilgesellschaft unberücksichtigt lasse: Demnach fehlen sowohl ein verpflichtendes Transparenzregister für den KI-Einsatz in Behörden als auch ein gesetzlich verankerter, unabhängiger KI-Beirat.

Auch KI-Experte Prof. Barenkamp teilt die Einschätzung, dass die Umsetzung des KI-MIG noch viel abverlangen wird. Drei Punkte werden ihm zufolge dabei entscheidend sein: Wie die Bundesnetzagentur ihre neue Rolle als Marktüberwacher bei einem Thema ausfüllt, das technisch und sektoral extrem heterogen ist, ob die KI-Kammer unabhängig genug agieren kann, um regulatorisches Vertrauen aufzubauen, und ob die Länder bei behördlichem KI-Einsatz zu einer abgestimmten Praxis finden oder tatsächlich sechzehn verschiedene Wege gehen.

„Die gesetzlich vorgesehene Evaluierung wird zeigen, ob die Struktur trägt. Ich nehme die Ankündigung, diese sehr ernst zu nehmen, beim Wort“, betont Prof. Barenkamp.

Weiterführende Informationen:

llustration: shutterstock.com / aniqpixel