Kriterien und Grenzen für den Einsatz Künstlicher Intelligenz bei Verwaltungsentscheidungen des Bundes
der Abgeordneten Robin Jünger, Ruben Rupp, Sebastian Maack und der Fraktion der AfD
Vorbemerkung
Die Bundesregierung verknüpft ihre Vorhaben zur Digitalisierung und Staatsmodernisierung mit dem Anspruch, die Leistungsfähigkeit, Effizienz und Bürgerorientierung staatlicher Verwaltungsstrukturen grundlegend zu erhöhen. Der Koalitionsvertrag von CDU, CSU und SPD für die 21. Wahlperiode sieht hierfür unter anderem eine umfassende Modernisierung der Verwaltung, einen spürbaren Bürokratierückbau, stärker wirkungsorientiertes Regierungshandeln sowie Effizienzsteigerungen durch Digitalisierung vor (KoaV-2025-Gesamt-final-0424.pdf). Zugleich formuliert die Bundesregierung das Ziel, Deutschland als KI-Nation zu etablieren und hierfür insbesondere in Cloud- und KI-Infrastruktur zu investieren. Für die Umsetzung dieser Vorhaben kommt dem Bundesministerium für Digitalisierung und Staatsmodernisierung eine zentrale Koordinierungs- und Steuerungsfunktion zu.
Vor diesem Hintergrund stellt der Einsatz Künstlicher Intelligenz in der Bundesverwaltung nicht nur eine technische Modernisierungsfrage dar, sondern berührt zentrale rechtsstaatliche und organisatorische Grundlagen staatlichen Verwaltungshandelns. Dies gilt insbesondere für Anwendungen, die über rein assistierende Funktionen hinausgehen und Einfluss auf Sachverhaltsermittlung, Verfahrenssteuerung, Priorisierung, rechtliche Bewertung, Ermessensvorbereitung oder Bescheiderstellung nehmen. Je stärker KI in entscheidungsrelevante Verwaltungsschritte eingreift, desto klarer und nachvollziehbarer müssen die Regeln sein. Es geht um Verantwortung, menschliche Letztentscheidung, Nachvollziehbarkeit und Aktenführung. Ebenso betroffen sind Datenschutz, Diskriminierungsfreiheit, IT-Sicherheit, Fehlerkorrektur, Haftung, Rechtsschutz und parlamentarische Kontrolle. Die Verordnung (EU) 2024/1689 über künstliche Intelligenz setzt hierfür einen risikobasierten Rahmen. Sie regelt insbesondere Hochrisiko-KI-Systeme, Risikomanagement, Datenqualität, technische Dokumentation, Protokollierung, Transparenz und menschliche Aufsicht.
Auf die Schriftliche Frage 119 auf Bundesdrucksache 21/5846 des Abgeordneten Robin Jünger antwortete die Bundesregierung, der Einsatz künstlicher Intelligenz in der Verwaltung erfolge im Rahmen der geltenden gesetzlichen Grundlagen, insbesondere der KI-Verordnung, des Verwaltungsverfahrensgesetzes, der Datenschutz-Grundverordnung und der einschlägigen Fachgesetze. Diese Antwort enthält nach Auffassung der Fragesteller keinen konkreten Kriterienkatalog, keine Aussage zu internen Prüfmaßstäben, keine Benennung verbindlicher Grenzen und keine Darstellung möglicher Ausschlussbereiche für vollständig oder weitgehend KI-basierte Verwaltungsentscheidungen. Sie beantwortet damit den Kern der Frage nur abstrakt. Dass geltendes Recht einzuhalten ist, stellt eine Selbstverständlichkeit dar; parlamentarisch relevant ist jedoch, wie die Bundesregierung die allgemeinen gesetzlichen Vorgaben praktisch in verbindliche Verwaltungsvorgaben, technische Prüfverfahren, Freigabeprozesse, Risikoabwägungen und Projektentscheidungen übersetzt.
Die Verordnung (EU) 2024/1689 über künstliche Intelligenz sieht risikobasierte Vorgaben für KI-Systeme vor und enthält unter anderem Anforderungen an Hochrisiko-KI-Systeme, menschliche Aufsicht, Risikomanagement, Datenqualität, technische Dokumentation, Protokollierung und Transparenz. Für den Bereich der öffentlichen Verwaltung kann darüber hinaus je nach Fachrecht entscheidend sein, ob eine automatisierte oder KI-gestützte Entscheidung mit dem Grundsatz rechtmäßiger Verwaltung, dem Anspruch auf effektiven Rechtsschutz, der Pflicht zur Begründung von Verwaltungsakten, dem Untersuchungsgrundsatz, dem Aktenführungsgrundsatz und dem Anspruch auf ermessensfehlerfreie Entscheidung vereinbar ist.
Die Fragesteller halten es deshalb für erforderlich, dass die Bundesregierung konkret offenlegt, ob sie über allgemeine Gesetzesverweise hinaus bereits ministerielle, ressortübergreifende oder behördeninterne Kriterien für KI-Einsätze in der Bundesverwaltung entwickelt hat. Von besonderem Interesse ist, ob die Bundesregierung zwischen rein assistierenden Anwendungen, entscheidungsvorbereitenden Anwendungen, teilautomatisierten Entscheidungen und vollständig automatisierten Verwaltungsentscheidungen unterscheidet. Ebenso ist zu klären, ob die Bundesregierung bestimmte Einsatzbereiche von vornherein ausschließt, etwa wegen besonderer Grundrechtsrelevanz, hoher Fehlerfolgen, fehlender Nachvollziehbarkeit, unzureichender Datenqualität, mangelnder IT-Sicherheit oder unklarer Verantwortlichkeit.
Die bisherige Antwort der Bundesregierung lässt ferner offen, ob das BMDS in seiner koordinierenden Rolle gegenüber anderen Ressorts eigene verbindliche Standards anstrebt oder ob jedes Ressort eigenständig über die Grenzen des KI-Einsatzes entscheidet. Eine solche Fragmentierung könnte zu unterschiedlichen Schutzstandards innerhalb der Bundesverwaltung führen. Für Bürger, Unternehmen und Gerichte wäre dann schwerer nachvollziehbar, welche Maßstäbe für KI-gestützte Verwaltung gelten. Gleichzeitig könnten Behörden aus Effizienz- oder Kostengründen KI-Systeme einsetzen, ohne dass vorher hinreichend geklärt ist, wie menschliche Verantwortung, Akteneinsicht, Widerspruchsverfahren, Fehlerkorrektur, Haftung und parlamentarische Nachprüfbarkeit gesichert werden.
Wir fragen die Bundesregierung:
Fragen23
Welche konkreten rechtlichen, technischen, organisatorischen, ethischen und sicherheitsbezogenen Kriterien verwendet die Bundesregierung derzeit, um zu entscheiden, ob ein KI-System in der Bundesverwaltung eingesetzt, pilotiert, beschafft, weiterentwickelt oder ausgeschlossen wird?
Gibt es innerhalb der Bundesregierung einen ressortübergreifenden Kriterienkatalog für den Einsatz von KI in der Bundesverwaltung, und falls ja, wann wurde er beschlossen, welches Ressort ist federführend, welche Ressorts waren beteiligt, und welche Verbindlichkeit besitzt er?
Falls es keinen ressortübergreifenden Kriterienkatalog gibt, aus welchen Gründen hat die Bundesregierung einen solchen bislang nicht erstellt, und bis wann plant sie die Erarbeitung eines solchen Kriterienkatalogs?
Wie unterscheidet die Bundesregierung begrifflich und praktisch zwischen assistierendem KI-Einsatz, entscheidungsvorbereitendem KI-Einsatz, teilautomatisierter Verwaltungsentscheidung, vollautomatisierter Verwaltungsentscheidung und agentischer KI im Verwaltungskontext?
Welche Verwaltungsbereiche des Bundes hält die Bundesregierung grundsätzlich für ungeeignet für vollständig oder weitgehend KI-basierte Entscheidungen, und aus welchen rechtlichen oder tatsächlichen Gründen und in welchen Verwaltungsbereichen des Bundes hält die Bundesregierung vollständig oder weitgehend KI-basierte Verwaltungsentscheidungen demgegenüber grundsätzlich für denkbar?
Welche verbindlichen Ausschlussbereiche für KI-basierte Verwaltungsentscheidungen plant die Bundesregierung mit Blick auf Grundrechtsrelevanz, Eingriffsintensität, Ermessensausübung, besondere Schutzbedürftigkeit Betroffener, Diskriminierungsrisiken oder Fehlerfolgen und nach welchen Kriterien bestimmt die Bundesregierung, ob eine menschliche Mitwirkung nur formal oder tatsächlich entscheidungserheblich ist?
Welche Anforderungen stellt die Bundesregierung an „Human in the Loop“, „Human on the Loop“ und „Human in Command“ in der Bundesverwaltung, und welche dieser Aufsichtsformen hält sie in welchen Verwaltungskonstellationen für ausreichend?
Wie stellt die Bundesregierung sicher, dass menschliche Aufsicht nach Artikel 14 der Verordnung (EU) 2024/1689 nicht zu einer bloßen Abzeichnung KI-generierter Ergebnisse wird und welche Vorgaben bestehen oder sind geplant, um Automatisierungsbias bei Beschäftigten der Bundesverwaltung zu verhindern, die KI-generierte Vorschläge prüfen oder übernehmen?
Welche Anforderungen stellt die Bundesregierung an die Nachvollziehbarkeit, Begründbarkeit und Aktenmäßigkeit KI-gestützter Verwaltungsvorgänge und welche Vorgaben gelten oder sind geplant, damit Betroffene in Verwaltungsverfahren erkennen können, ob und in welchem Umfang KI an einer Entscheidung mitgewirkt hat?
Welche Vorgaben gelten oder sind geplant, damit Betroffene in Widerspruchs-, Klage- oder sonstigen Rechtsschutzverfahren die KI-bezogenen Entscheidungsgrundlagen überprüfen lassen können, und wie stellt die Bundesregierung sicher, dass KI-gestützte Entscheidungen mit dem Untersuchungsgrundsatz, dem Anspruch auf rechtliches Gehör und der Pflicht zur ermessensfehlerfreien Entscheidung vereinbar bleiben?
Welche Rolle spielen Datenschutz-Folgenabschätzungen, Grundrechte-Folgenabschätzungen, IT-Sicherheitsprüfungen und Wirtschaftlichkeitsuntersuchungen bei der Freigabe von KI-Systemen in der Bundesverwaltung und welche Bundesbehörden haben seit Beginn der 21. Wahlperiode KI-Systeme für Verwaltungsverfahren pilotiert, beschafft oder in den Regelbetrieb übernommen, und für welche konkreten Verfahrensschritte werden diese Systeme eingesetzt?
Welche KI-Systeme in der Bundesverwaltung unterstützen nach Kenntnis der Bundesregierung bereits die Sachverhaltsermittlung, Rechtsprüfung, Priorisierung von Vorgängen, Risikobewertung, Ermessensvorbereitung oder Bescheiderstellung?
Welche internen oder externen Gutachten, Studien, Prüfvermerke, Rechtsgutachten oder Beratungsergebnisse liegen der Bundesregierung zu Grenzen KI-basierter Verwaltungsentscheidungen vor?
Welche externen Dienstleister, Beratungsunternehmen, Forschungseinrichtungen oder sonstigen Dritten wurden seit Beginn der 21. Wahlperiode mit Arbeiten zu Kriterien, Risiken, Grenzen oder Governance des KI-Einsatzes in der Bundesverwaltung beauftragt?
Welche Haushaltsmittel wurden seit Beginn der 21. Wahlperiode für Governance, Prüfung, Evaluation, Beschaffung, Entwicklung oder Pilotierung von KI-Systemen in der Bundesverwaltung veranschlagt, gebunden oder verausgabt?
Welche Rolle hat das BMDS bei der ressortübergreifenden Steuerung des KI-Einsatzes in der Bundesverwaltung, und welche Weisungs-, Koordinierungs- oder Standardsetzungskompetenzen bestehen insoweit gegenüber anderen Ressorts?
Welche Abstimmungen gab es seit Beginn der 21. Wahlperiode zwischen BMDS, BMI, BMF, BMJ, BSI, BfDI, ITZBund, DigitalService GmbH des Bundes und weiteren Stellen zu Kriterien und Grenzen des KI-Einsatzes in Verwaltungsverfahren und plant die Bundesregierung eine Verwaltungsvorschrift, Leitlinie, Rechtsverordnung, technische Richtlinie oder sonstige verbindliche Regelung zum Einsatz von KI in der Bundesverwaltung, und falls ja, mit welchem Inhalt und in welchem Zeitplan?
Wie bewertet die Bundesregierung das Risiko, dass unterschiedliche Ressorts oder Bundesbehörden ohne einheitliche Vorgaben unterschiedliche Maßstäbe für KI-gestützte Verwaltungsentscheidungen anwenden?
Welche messbaren Ziele hat die Bundesregierung für den KI-Einsatz in der Bundesverwaltung festgelegt, insbesondere mit Blick auf Bearbeitungsdauer, Kosten, Personalentlastung, Fehlerquote, Rechtsbehelfsquote, Nutzerzufriedenheit und IT-Sicherheit?
Welche Kriterien verwendet die Bundesregierung, um zu prüfen, ob der KI-Einsatz in der Bundesverwaltung wirtschaftlicher ist als herkömmliche IT-Unterstützung oder organisatorische Prozessreform?
Welche Fehler-, Schadens- und Haftungsszenarien hat die Bundesregierung für KI-gestützte Verwaltungsentscheidungen geprüft?
Welche Melde-, Prüf- und Korrekturverfahren sind vorgesehen, wenn ein KI-System in der Bundesverwaltung rechtswidrige, diskriminierende, fehlerhafte oder nicht nachvollziehbare Ergebnisse erzeugt?
Warum hat die Bundesregierung in ihrer Antwort auf die Schriftliche Frage 119 auf Bundesdrucksache 21/5846 des Abgeordneten Robin Jünger keine konkreten Kriterien, Grenzen oder Ausschlussbereiche benannt, obwohl ausdrücklich danach gefragt wurde?