Kurzfassung: In der EU teilen sich EU-Ebene (KI-Office der Kommission) und nationale Marktüberwachungsbehörden die Aufsicht.
In Deutschland sieht der aktuelle Entwurf des KI-Marktüberwachungs- und Innovationsförderungsgesetzes (KI-MIG) vor: Bundesnetzagentur (BNetzA) als zentrale Aufsicht – ergänzt durch ein Mosaik weiterer zuständiger Stellen. Ein Koordinierungs- und Kompetenzzentrum (KoKIVO) bei der BNetzA unterstützt die Fachaufsichten technisch. Für Behörden heißt das: Dokumentieren, Transparenz sicherstellen, menschliche Kontrolle verankern und für „wichtige“ KI eine Grundrechts-Folgenabschätzung vorhalten.
Wer kontrolliert wen? – die Aufsichtslandschaft
EU-Ebene (KI-Office der EU-Kommission): Zuständig u. a. für GPAI-Modelle (Basismodelle wie GPT, Gemini) – kann Informationen anfordern und Maßnahmen anordnen. Nationale Behörden überwachen Anwendungen („Systeme“) vor Ort.
- Deutschlands Plan:
- BNetzA als zentrale Marktüberwachung für KI; der Gesetzentwurf regelt Zuständigkeiten, Bußgelder und Zusammenspiel der Bereiche.
- KoKIVO bei der BNetzA: technische Beratung/Unterstützung für die zuständigen Marktüberwachungs- und notifizierenden Behörden.
- Mosaik weiterer Stellen je nach Sektor (Entwurf): Aufsicht verteilt sich, BNetzA übernimmt „Großteil“. Details werden im KI-MIG finalisiert.
Wichtig: Der Entwurf befindet sich im Konsultationsprozess – die Struktur wird konkretisiert, aber der Kurs ist klar: zentrale Rolle BNetzA und kooperierende Fachaufsichten.
Wie wird geprüft? – typische Prüfhandlungen & Nachweise
Die Marktüberwachung arbeitet nach EU-Regeln: verlangt Unterlagen, führt Vor-Ort-Kontrollen durch, testet Systeme, ordnet Abhilfe an. Für Behörden als „Deployer“ (Anwender) bedeutet das: Man prüft weniger „die KI-Magie“, sondern ob Ihre Organisation die Pflichten erfüllt. Zu rechnen ist mit Anfragen zu:
- Inventar & Klassifizierung
- Liste aller KI-Einsätze (Pilot bis Produktion), Zweck, Daten, Schnittstellen, Risiko-Schublade (verboten/gering/„wichtig“/hoch).
- Transparenz
- Hinweise, wenn Bürger:innen/Bedienstete mit KI interagieren (z. B. Chatbot, KI-Texte, synthetische Medien).
- Prozesse zum Kennzeichnen und Eskalieren.
- Menschliche Aufsicht
- Klare Rollen/Prüfpfade bei entscheidungsrelevanten Einsätzen (Bescheide, Einstufungen, Priorisierungen).
- Grundrechts-Folgenabschätzung – für „wichtige/High-Risk“ KI
- Vor Ersteinsatz in öffentlichen Stellen: Zweck/Betroffene, Risiken (z. B. Diskriminierung), Aufsichts- & Abhilfemaßnahmen dokumentieren. Vorlage/Fragebogen wird EU-weit bereitgestellt.
- Betriebsnachweise
- Protokolle/Logs, Änderungs- und Vorfallsmanagement, qualitätsgesicherte Datenquellen, Test-/Abnahmeberichte.
- Lieferanten-/Vertragsunterlagen
- Nachweise vom Anbieter (z. B. für GPAI: Dokumentation, Urheberrechts-Compliance, Sicherheit/Updates), Audit-/Exit-Klauseln.
Das Thema bleibt spannend und turbulent. Verpassen Sie nicht den Anschluss und informieren Sie sich regelmäßig über dieses und viele weitere aktuelle und brisante Themen der öffentlichen Verwaltung hier im Blog oder auf unserer LinkedIn-Seite (https://www.linkedin.com/company/optiso-gbr-verwaltungs-und-unternehmensberatung/?originalSubdomain=de)
Wenn Sie sich als öffentliche Verwaltung über den KI Act informieren, oder Ihre Mitarbeiter schulen möchten, können Sie sich hier anmelden oder sich bei OptiSo oder NST Wissenstransfer GmbH informieren:
