Künstliche Intelligenz im Geschäftsbereich der Bundesregierung (Nachfrage zur Antwort der Bundesregierung auf die Kleine Anfrage auf Bundestagsdrucksache 20/430)

[Antwort der Bundesregierung auf die Kleine Anfrage der Abgeordneten Anke Domscheit-Berg, Dr. Petra Sitte, Nicole Gohlke, weiterer Abgeordneter und der Fraktion DIE LINKE. – Drucksache 20/2693 – Künstliche Intelligenz im Geschäftsbereich der Bundesregierung (Nachfrage zur Antwort der Bundesregierung auf die Kleine Anfrage auf Bundestagsdrucksache 20/430) V o r b e m e r k u n g d e r F r a g e s t e l l e r Am 14. Januar 2022 hat die Bundesregierung die Kleine Anfrage der Fraktion DIE LINKE. zum Themenkomplex „Künstliche Intelligenz im Geschäftsbereich der Bundesregierung“ auf Bundestagesdrucksache 20/430 beantwortet. Aus dieser Antwort ergeben sich für die Fragestellenden folgende Nachfragen und neue Fragen. Insbesondere zur Risikoklassifizierung von KI (Künstliche Intelligenz)-Systemen durch Behörden bleiben aufgrund lückenhafter und thematisch unpassender Antworten Unklarheiten.  1. Wie lautet die Begründung dafür, dass die Bundesregierung, wie in der Vorbemerkung ihrer Antwort auf die Kleine Anfrage auf Bundestagesdrucksache 20/430 erläutert, eine trennscharfe Abgrenzung der Vorhaben und die Ermittlung der erfragten Angaben nicht vollumfänglich ermöglichen kann? Künstliche Intelligenz (KI) ist eine Querschnittstechnologie, die schon heute in zahlreichen Bereichen zur Anwendung kommt. Die Bundesregierung führt keine Übersicht darüber, inwiefern in der täglichen Arbeit auf KI-basierte Werkzeuge – etwa im Rahmen der Internetrecherche oder der explorativen Datenauswertung – zurückgegriffen wird.  2. Zählt die Bundesregierung jedes softwarebasierte, automatisierte System, das einen Einfluss auf Grundrechte, Gesundheit oder Sicherheit Einzelner oder von Gesellschaften haben kann, zum betrachteten Anwendungsbereich? Die Bundesregierung legt das in der KI-Strategie verwendete Verständnis von KI zugrunde. Deutscher Bundestag Drucksache 20/3020 20. Wahlperiode 05.08.2022 Die Antwort wurde namens der Bundesregierung mit Schreiben des Bundesministeriums für Bildung und Forschung vom 4. August 2022 übermittelt. Die Drucksache enthält zusätzlich – in kleinerer Schrifttype – den Fragetext.  3. Wie erläutert die Bundesregierung ihre Antworten zu den Fragen 1 bis 1d der o. g. Kleinen Anfrage, in der sie sich auf „Anwendungsfälle, in denen KI gezielt und explizit für automatisierte Entscheidungen oder Mustererkennungen eingesetzt wird“ bezieht? a) Sind der Bundesregierung Anwendungsfälle bekannt, in denen KI nicht gezielt eingesetzt wird, und wenn ja, welche? b) Sind der Bundesregierung Anwendungsfälle bekannt, in denen KI nicht explizit eingesetzt wird, und wenn ja, welche)? c) Sind der Bundesregierung Anwendungsfälle bekannt, in denen KI nicht für automatisierte Entscheidungen oder Mustererkennungen eingesetzt wird? Für welche Zwecke wird sie in diesen Fällen sonst eingesetzt? Die Fragen 3 bis 3c werden im Zusammenhang beantwortet. Es wird auf die Antwort zu Frage 1 verwiesen.  4. Wie wurden die Entscheiderinnen und Entscheider geschult, um die in der Antwort genannten Systeme auswählen und bewerten zu können (Antwort bitte tabellarisch je Anwendung aufführen, wie auf Bundestagesdrucksache 20/430)?  5. Wie wurden die Nutzerinnen und Nutzer geschult, um die in der Antwort genannten Systeme anwenden zu können (Antwort bitte tabellarisch je Anwendung aufführen, auf Bundestagesdrucksache 20/430)? Die Fragen 4 und 5 werden im Zusammenhang beantwortet. Die Angaben sind der Anlage 1 zu entnehmen.* Bitte beachten Sie, dass ein Teil der Angaben als „VS – Nur für den Dienstgebrauch“ eingestuft ist. Die Tabelle ist daher zweigeteilt; die als „VS – Nur für den Dienstgebrauch“-eingestuften Angaben sind der „VS – Nur für den Dienstgebrauch“-eingestuften Anlage zu entnehmen.  6. Welche Kompetenzen plant die Bundesregierung jeweils für Entscheidende und Nutzende aufzubauen, wann und wie soll der Aufbau dieser Kompetenzen erfolgen? Der Einsatz von KI bietet enormes Potential für eine moderne, effiziente und krisenresiliente Verwaltung für die digitale Gesellschaft. KI-Kompetenzen sind auch heute schon in den Behörden und Einrichtungen des Bundes vorhanden. Die Bundesregierung beschäftigt sich umfassend mit der Frage eines weiteren Kompetenzaufbaus der Verwaltung im Bereich der KI. So prüft die Bundesregierung aktuell den Aufbau eines Beratungs- und Evaluierungszentrums für Künstliche Intelligenz (Arbeitstitel „BEKI“) für den Bereich der öffentlichen zivilen nicht sicherheitsbezogenen Verwaltung des Bundes und der Länder sowie den Aufbau einer Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (Projekt ABOS). Im Übrigen wird auf die Antwort der Bundesregierung auf die Schriftliche Frage 83 der Abgeordneten Anke Domscheit-Berg auf Bundestagsdrucksache 20/1355 verwiesen. * Das Bundesministerium für Bildung und Forschung hat die Antwort als „VS – Nur für den Dienstgebrauch“ eingestuft. Die Antwort ist im Parlamentssekretariat des Deutschen Bundestages hinterlegt und kann dort von Berechtigten eingesehen werden.  7. Wie und in welchen Anwendungen finden Evaluierungen der in der Antwort genannten Algorithmen-basierten Entscheidungen, automatisierten Mustererkennungen und künstlichen Intelligenz (KI) statt, und beschäftigen sich die Bundesministerien (inklusive Bundeskanzleramt und nachgeordnete Behörden) wissenschaftlich mit dem Einsatz der Evaluation (bitte nach Bundesministerien und nachgelagerten Behörden wie auf Bundestagesdrucksache 20/430 tabellarisch aufschlüsseln)? Die Angaben sind der Anlage 2 zu entnehmen.* Ein Teil der Angaben ist als „VS – Nur für den Dienstgebrauch“ eingestuft. Die Tabelle ist daher zweigeteilt; die als „VS – Nur für den Dienstgebrauch“- eingestuften Angaben sind der „VS – Nur für den Dienstgebrauch“- eingestuften Anlage zu entnehmen.  8. Wenn ja, welche Studien (bitte nach Autorinnen und Autoren, Veröffentlichungsjahr, Titel der Studie, Institution und Auftraggeber tabellarisch aufschlüsseln) wurden von der Bundesregierung (inklusive nachgeordnete Behörden) zu dieser Thematik (v. a. Auswahl, Bewertung und Evaluation algorithmischer Systeme unter besonderer Berücksichtigung von Einsätzen im öffentlichen Dienst) in Auftrag gegeben und/oder mitfinanziert oder sollen zukünftig in Auftrag gegeben werden? Die Antworten sind der Anlage 3 zu entnehmen. Hinzu kommen Studien zu übergreifenden und grundsätzlichen KI-Themenstellungen.* Ein Teil der Angaben ist als „VS – Nur für den Dienstgebrauch“ eingestuft. Die Tabelle ist daher zweigeteilt; die als „VS – Nur für den Dienstgebrauch“- eingestuften Angaben sind der „VS – Nur für den Dienstgebrauch“- eingestuften Anlage zu entnehmen.  9. Wie erklärt die Bundesregierung ihre Antwort zu den Fragen 2 bis 2b, dass in fast keinem Fall ein Risikoklassenmodell zur Anwendung kam? Aktuell läuft eine Test- bzw. Untersuchungsphase, in der die Potenziale von KI im Bereich der obersten Bundesbehörden breit ausgelotet werden. Daher ist in der überwiegenden Mehrzahl der Anwendungsfälle das System nicht vollautomatisiert. Häufig bildet die KI lediglich einen Baustein in einem umfassenden Analyseprozess. Eine Testphase ist unerlässlich für eine faktenbasierte Einschätzung, wo KI einen konkreten Mehrwert bieten kann, welche Rahmenbedingungen für den Einsatz nötig sind und in welchen Fällen sich ggf. Risiken ergeben, die den Einsatz eines Risikoklassenmodells erforderlich machen. Auch die Entwicklung passender Risikoklassenmodelle ist Teil einer solchen Testphase, da auch dazu weiterhin viel Forschungsbedarf besteht. Aufgrund der Diversität der Anwendungsfälle erscheint zum aktuellen Zeitpunkt ein einheitliches Modell nicht geeignet. * Das Bundesministerium für Bildung und Forschung hat die Antwort als „VS – Nur für den Dienstgebrauch“ eingestuft. Die Antwort ist im Parlamentssekretariat des Deutschen Bundestages hinterlegt und kann dort von Berechtigten eingesehen werden. 10. Warum haben weder die Bundesregierung noch ihr nachgeordnete Bundesministerien bzw. Behörden die Empfehlungen der Datenethik- Kommission, der Enquete-Kommission KI des Deutschen Bundestages noch der Plattform Lernende Systeme zur Entwicklung und Anwendung eines Risikoklassenmodells oder anderer Kritikalitätsbewertungen berücksichtigt? Die Bundesregierung und die nachgeordneten Behörden beziehen diese Empfehlungen im Rahmen der Bewertung, Nutzung und Testierung von Anwendungen zur künstlichen Intelligenz in ihre Entscheidungen mit ein. Im Übrigen wird auf die Antworten zu den Fragen 6 und 9 verwiesen. 11. In welcher Form plant die Bundesregierung zukünftig, ein Risikoklassenmodell für die Bewertung algorithmischer Systeme zu entwickeln und/ oder anzuwenden? Es wird auf die Antworten zu den Fragen 6 und 9 verwiesen. 12. Orientiert sich die Bundesregierung bei der Entwicklung und Anwendung eines Risikoklassenmodells für die Bewertung algorithmischer Systeme am Entwurf der KI-Verordnung der Europäischen Kommission, oder plant die Bundesregierung, über diese Vorschläge hinauszugehen, und wenn ja, in welchem Umfang, und bis wann wird ein solches Risikoklassenmodell für den Geschäftsbereich der Bundesregierung zur Verfügung stehen? Die Bundesregierung orientiert sich am Entwurf der KI-Verordnung der Europäischen Kommission und bezieht diesen in ihre Entscheidungen für die Frage der Bewertung von algorithmischen Systemen mit ein. Im Übrigen wird auf die Antworten zu den Fragen 6 und 9 verwiesen. 13. Wie erklärt und wie bewertet die Bundesregierung, dass in der Antwort zu den Fragen 2 bis 2b deutlich wird, dass den Antwortenden sowohl die Definition also auch die Bedeutung eines Risikoklassenmodells für KI- Anwendungen offensichtlich nicht bekannt war? Der Bundesregierung ist die Definition und somit auch die Bedeutung eines Risikoklassenmodells für KI-Anwendungen bekannt. Darüber hinaus wird auf die Antworten zu den Fragen 9 und 12 verwiesen. 14. Wie begründet die Bundesregierung die Entscheidung, dass die gesamte Antwort auf die Kleine Anfrage zunächst der VS-NfD-Einstufung (Verschlusssachen – Nur für den Dienstgebrauch) unterlag und nur aufgrund Rückfragen seitens der fragestellenden Fraktion gekürzt veröffentlicht werden konnte? Die Antwort auf die Kleine Anfrage der Fraktion DIE LINKE. auf Bundestagsdrucksache 20/430 enthält in den Anlagen Tabellen, die teilweise aus „VS – Nur für den Dienstgebrauch“-eingestuften Beiträgen bestehen. Die Entscheidung, damit zunächst die gesamte Antwort als „VS – Nur für den Dienstgebrauch“ einzustufen, wurde seitens des Parlamentssekretariates des Deutschen Bundestages getroffen. Dies gilt ebenso für die Entscheidung, nach Vorliegen des Antrags auf Veröffentlichung die mit „VS – Nur für den Dienstgebrauch“ gekennzeichneten Zeilen in den Tabellen zu schwärzen und die Antwort dann mit Schwärzung für eine Veröffentlichung freizugeben. 15. Wie oft hat die Bundesregierung die zuständigen parlamentarischen Gremien über KI-Anwendungen der Sicherheitsbehörden bereits unterrichtet (bitte nach kontaktierten Gremien und Häufigkeit seit 2017 aufschlüsseln)? Die Bundesregierung berichtet den zuständigen Gremien des Deutschen Bundestages fortdauernd und anlassbezogen zu entsprechenden Themen. 16. Welche weiteren Anwendungen der teil- oder vollautomatisierten Entscheidungsprozesse und Mustererkennungen mit und ohne Methoden der Künstlichen Intelligenz sind der Bundesregierung bekannt, die in der (Teil-)Verantwortung oder im Einsatzgebiet ausschließlich der Bundesländer, einiger Länder oder eines Landes liegen (bitte nach Anwendung, zuständigem Ministerium oder nachgelagerte Behörde und Land aufschlüsseln)? Etwaige Informationen über Anwendungen der Länder unterliegen deren Hoheit und liegen daher nicht im Verantwortungsbereich der Bundesregierung. 17. Welche Bund-Länder-Gremien gibt es, in denen sich Bund und Länder über die Planung, den Einsatz, die Evaluierung und mögliche Risiken, Fehler oder Optimierungsbedarfe beim Einsatz von KI-Anwendungen abstimmen? Bund-Länder-Gremien, die sich explizit nur zu Planung, Einsatz, Evaluierung und mögliche Risiken, Fehler oder Optimierungsbedarfe beim Einsatz von KI- Anwendungen abstimmen, sind der Bundesregierung nicht bekannt. Der Austausch zu diesen Themen erfolgt in der Regel im Rahmen der bestehenden Bund-Länder-Gremien themenbezogen im Zusammenhang mit den jeweiligen Gremien. Im Bereich der amtlichen Statistik existieren beispielsweise folgende Bund- Länder-Gremien zwischen Statistischem Bundesamt und Statistischen Ämtern der Länder, in denen sich über die genannten Themen abgestimmt wird: der Arbeitskreis Maschinelles Lernen (AK ML) und die Projektgruppe Qualität. 18. Bis wann und mit welchen Formen der zivilgesellschaftlichen Beteiligung plant die Bundesregierung die KI-Strategie des Bundes weiterzuentwickeln oder fortzuschreiben, und welche Rolle wird dabei die vom Bundesministerium für Bildung und Forschung (BMBF) geförderte „NAIBTF – National AI Breakthrough Task Force“ der Universität Tübingen spielen? Die aktuelle KI-Strategie ist auf das Jahr 2025 ausgerichtet. Der Fokus liegt derzeit auf der Umsetzung. Ziel des Vorhabens „National AI Breakthrough Task Forsche“ (NAIBTF) ist eine bessere Vernetzung der deutschen KI- Forschungslandschaft. 19. Zur eingesetzten Anwendung lfd. Nr. 10 Bilderkennung in der Generalzolldirektion (siehe Bundestagesdrucksache 20/430, Anlage 1): a) Für welche Zwecke soll die genannte Bilderkennung eingesetzt werden? Die Fragen 19 und 19a werden gemeinsam beantwortet. Durch den Einsatz von KI soll der Prozess zur Sicherstellung des Gewerblichen Rechtschutzes bei der Abfertigung des grenzüberschreitenden Warenverkehrs optimiert werden. Aktuell müssen die abzufertigenden Waren durch eine manuelle Bildrecherche und Bildanalyse in einer Datenbank zu Schutzrechten zollintern abgeglichen werden. Dieser Prozess ist zeitaufwändig und fehlerbehaftet. Unter Nutzung der KI-Lösung erstellen Mitarbeitende des Zolls ein Foto von der Ware und die KI schlägt bestehende Bilder bzw. Schutzrechte vor. Hierdurch kann die Person direkt relevante Anträge einsehen und Entscheidungen treffen. b) Welche Bilder sollen zu den in Frage 18a genannten Zwecken den Zollbeamtinnen und Zollbeamten zugänglich gemacht werden? Für die Analysen stellen Unternehmen (Schutzrechtinhaber) der Zollverwaltung Bilder von Originalen und Fälschungen ihrer Marke bereit. c) Welcher Art von Entscheidung soll die Empfehlung dienen? Die KI führt keine selbstständige Entscheidung durch, sondern dient als unterstützendes System zur finalen personellen Entscheidung. Die Empfehlung soll zu einer schnelleren Entscheidung führen, ob ein Schutzrecht vorliegt und ggf. durch ein Plagiat verletzt wurde. Die Empfehlung konzentriert sich dabei auf das Auffinden entsprechend bestehender Schutzrechte. d) Wann ist die Fertigstellung und wann der Einsatz dieser Anwendung geplant? e) Wird vor dem Einsatz noch eine Risikobewertung stattfinden, und wenn ja, nach welchem Modell (bitte auch für die Anwendungen in Frage 19 bis 23 beantworten)? Die Fragen 19d und 19e werden gemeinsam beantwortet. Die Entwicklung im Rahmen eines proof-of-concept wurde abgeschlossen. Die im Rahmen dieser Teststellung gesammelten Erfahrungen führten zu dem Ergebnis, dass die Test-Entwicklung nicht für eine produktive Umsetzung geeignet ist. 20. Was ist der jeweilige Einsatzzweck der Anwendung lfd. Nr. 48 Mustererkennung und lfd. Nr. 51 Modellierung beim Thünen-Institut (siehe Bundestagesdrucksache 20/430, Anlage 1), welche Muster sollen wofür erkannt werden, und welche Modelle sollen wofür modelliert werden? In dem Forschungsprojekt lfd. Nummer 48 wird die Frage beantwortet werden, ob Holzarten mittels Machine Learning in Fasermaterialien zweifelsfrei identifiziert werden können. An dieser Frage arbeitet das Thünen-Institut im Projekt der Fachagentur Nachwachsende Rohstoffe (FNR) in Zusammenarbeit mit dem Fraunhofer-Institut mit dem Ziel der Entwicklung automatisierter Bilderkennungssysteme für die Holzartenbestimmung. Um den Handel mit legalen Rohstoffen zu stärken und die Verbraucher zu schützen, wird am Thünen- Kompetenzzentrum die Herkunft der verwendeten Holzarten bestimmt. Routinemäßig werden dabei Schnittpräparate von Holz und bei Faserstoffen wie Papier vereinzelte Zellen lichtmikroskopisch untersucht und mit hohem Zeitaufwand von Expertinnen und Experten begutachtet. Automatisierte Bilderkennungssysteme können hier eine enorme Arbeitserleichterung und Zeitersparnis bedeuten. Mit Einführung der Europäischen Holzhandelsverordnung (EUTR) 2013 ist der Handel verpflichtet, zur Sicherstellung der legalen Herkunft unter anderem die Art des im Produkt enthaltenen Holzes zu dokumentieren. Im Rahmen dieses Forschungsvorhabens sollen automatisierte Bilderkennungssysteme mittels künstlicher Intelligenz entwickelt werden, um die Holzartendeklaration der Hersteller großflächiger überprüfen zu können. Die Ergebnisse sollen wissenschaftlich veröffentlicht und allen Prüfinstituten zur Kontrolle des international gehandelten Holzes zur Verfügung gestellt werden. In dem Forschungsprojekt lfd. Nummer 51 wird der Einsatz von maschinellem Lernen in der Wissenschaft inkl. seiner Weiterentwicklung bei der Waldzustandserhebung (WZE), der Bodenzustandserhebung Wald (BZE-Wald) und anderen Monitoringaufgaben mit vorangetrieben. 21. Welche Systeme von welchen Herstellern kommen zum Einsatz bei den eingesetzten Anwendungen lfd. Nr. 57 „zivile Anwendungen zur Unterstützung und Beratung des medizinischen Personals der Bundeswehr in Analytik, Diagnostik, Therapie“ (siehe Bundestagesdrucksache 20/430, Anlage 1)? a) Welche Risikoklassenmodelle wurden jeweils angewendet? b) Ist dem Bundesministerium der Verteidigung (BMVg) für die lfd. Nr. 57 die jeweilige Datenbasis der verschiedenen Hersteller bekannt (falls nicht, bitte begründen)? Die Fragen 21 bis 21b werden im Zusammenhang beantwortet. Die eingesetzten Systeme sind zivilgewerbliche Produkte, die den entsprechenden Anforderungen und Regularien zur Nutzung im zivilen Gesundheitswesen unterliegen. Daher können zu den Unterfragen 21a und 21b keine Angaben gemacht werden. 22. Welche Chatbots sind bei den Anwendungen lfd. Nr. 66 „Entwicklung von Chatbots, sowie Formular- und Voicebots“ (siehe Bundestagesdrucksache 20/430, Anlage 1) konkret bereits im Einsatz, und zu welchem genauen Zweck (bitte möglichst detailliert beschreiben, gerne auch Links zu Chatbots, sofern extern nutzbar, angeben)? Folgende Chatbots sind derzeit im Einsatz: • C19 beantwortet Fragen zu Corona Themen • Die lernende, intelligente, nutzerfreundliche Auskunftsanwendung (LinA) beantwortet Fragen zu Kfz-Steuer und Internet-Verbrauch und Verkehrsteuer-Anwendung (IVVA) • Die themenbezogene, intelligente, nutzerfreundliche Auskunftsanwendung (TinA) beantwortet Fragen zu eCommerce und Brexit • Remi beantwortet Fragen zum Rauchstopp • Kira beantwortet Fragen zur Karriere und Bewerbung beim Informationstechnikzentrum Bund (ITZBund) • Virtuelle Online-Auskunft (ViOlA) beantwortet Fragen zum Bundeszentralamt für Steuern Folgender Formularbot ist derzeit im Einsatz: • ViOlA - Formularbot für Beantragung Identifikationsnummer Chatbots dienen dazu, Fragen von Bürgerinnen und Bürger sowie Unternehmen überall und jederzeit schnell, präzise und verständlich zu den zugehörigen Wissensgebieten zu beantworten. Eine aktuelle Übersicht zu den Chatbots befindet sich unter www.bundesbots.de. a) In welchen Sprachen werden die jeweiligen Chatbots bereitgestellt? Chatbots werden hauptsächlich in deutscher Sprache zur Verfügung gestellt. Andere Sprachen sind auch möglich. Der TinA Chatbot bietet auch die englische Sprache an. b) Wurden und/oder werden die Chatbots evaluiert, und wenn ja, durch wen, wann und mit jeweils welchem Ergebnis bei bereits abgeschlossenen Evaluationen? c) Welchen Stellen wurden die Evaluationen zugänglich gemacht? d) Wie werden die bisherigen Evaluationsergebnisse für zukünftige Entwicklungen berücksichtigt? Die Fragen 22b bis 22d werden im Zusammenhang beantwortet. Die Chatbots wurden noch nicht evaluiert. Es wird gerade ein Basisdienst aufgebaut, der es ermöglicht, Chatbots für die Bundesverwaltung anzubieten. Die derzeitigen Chatbots werden pilotiert. Am Ende der Phase wird eine Evaluierung vorgenommen. e) Welche Formular- und Voicebots sind konkret in Entwicklung und für welchen konkreten Zweck sollen sie von wem eingesetzt werden (bitte möglichst detailliert beschreiben)? Derzeitig gibt es einen Formularbot. Er hilft Bürgerinnen und Bürgern, die Identifikationsnummer zu beantragen. Es sind zwei Voicebots in der Entwicklung. Einer soll eine Ergänzung zum LinA-Bot sein und Auskünfte zur KfZ- Steuer geben. Ein weiterer Voicebot wird vom Bürgerservice des Bundesministeriums des Innern und für Heimat (BMI) entwickelt. Voicebots dienen zur automatisierten Beantwortung von Anfragen über den Kommunikationskanal Telefon. Damit wird der Chatbot im Sinne der Barrierefreiheit ergänzt. Bei den genannten Bots handelt sich um erste Pilotierungen der Funktionen Voice und Formular. f) Für den Fall, dass derartige Formularbots für die Nutzung durch Bürgerinnen und Bürger vorgesehen sind, die mögliche Rechtsansprüche von Bürgerinnen und Bürgern berühren, inwiefern sollen Vertreterinnen und Vertreter der Zivilgesellschaft im Entwicklungsprozess und darüber hinaus einbezogen werden, und sollen Organisationen sowie Initiativen einen Zugang zu den Algorithmen bekommen und unabhängig überprüfen können, ob die Interessen der Bürgerinnen und Bürger angemessen gewahrt werden? Formularbots im Sinne der Fragestellung sind aktuell nicht in der Nutzung. Die eingesetzten Bots treffen auch keine Entscheidungen. 23. Welche Systeme sind bei den Anwendungen aus lfd. Nr. 67 „Entwicklung softwarebasierter Detektionsalgorithmen zum Einsatz bei der Kontrolle von Passagieren und Gepäck gemäß Luftsicherheitsausrüstungsverordnung“ (siehe Bundestagesdrucksache 20/430, Anlage 1) genau gemeint, und welchem konkreten Zweck dienen sie (Identifikation gefährlicher Stoffe und/oder verdächtiger Personen)? Derzeit entwickeln Hersteller Detektionssoftware für Handgepäckkontrollanlagen, mit deren Hilfe verbotene Gegenstände im Handgepäck automatisch detektiert werden können, eine sog. Automated Prohibited Item Detection (APID). Diese sind bisher nicht zertifiziert und nicht im Einsatz. a) Welche Daten fließen ein in eine Bewertung als potenziell gefährliche Passagierin bzw. potenziell gefährlicher Passagier bzw. gefährliches Gepäck? Die Software kann nur auf Handgepäckkontrollanlagen eingesetzt werden und somit nur Gefahren im Handgepäck detektieren. Die Daten, die in die Bewertung eines potentiell gefährlichen Handgepäckstücks einfließen, basieren auf der Liste der verbotenen Gegenstände (Durchführungsverordnung (EU) 2015/1998, Anlage 4c). b) Welche Risiken flossen in die risikobasierten Prüfmethoden ein? c) Orientieren sich die risikobasierten Prüfmethoden an einem Risikoklassenmodell, und wenn ja, an welchem? Die Fragen 23b und 23c werden im Zusammenhang beantwortet. Der Detektionsalgorithmus wird bei der Prüfung/Zertifizierung „eingefroren“, d. h. die Anwendung von KI Methoden ist während der Prüfung und im Einsatz unterbunden. Somit werden hier keine risikobasierten Prüfmethoden angewandt. d) Wie begründet die Bundesregierung den Umstand, dass die Datenbasis für die Anwendung unbekannt ist, und welche Schlussfolgerungen zieht die Bundesregierung hieraus für die Zuverlässigkeit des Systems? Bei der Zertifizierung der Geräte wird die Erfüllung des Detektionsstandards geprüft. Da beim Einsatz der Geräte der Detektionsalgorithmus nicht „lernt“ und keine Änderungen vorgenommen werden dürfen (Zertifikatsverlust), können diese Systeme als zuverlässig und sicher angesehen werden. 24. Werden bei der Anwendung ldf. Nr. 68 des Bundesamts für Migration und Flüchtlinge (BAMF) (siehe Bundestagesdrucksache 20/430, Anlage 1) auch ausgelesene Handydaten Geflüchteter ausgewertet, oder fließen tatsächlich ausschließlich Anhörungsprotokolle als Datenbasis ein, und wenn ja, welche Daten werden ausgelesen, und wie? Die lfd. Nummer 68 der Anlage auf die Antwort der Bundesregierung auf die Kleine Anfrage der Fraktion DIE LINKE. auf Bundestagsdrucksache 20/430, bezieht sich auf die Profilanalyse. Hierbei werden keine Handy-Daten ausgewertet, sondern ausschließlich Anhörungsprotokolle. a) Werden auch Audioaufzeichnungen von Anhörungen von algorithmischen Systemen ausgewertet, und wenn ja, nach welchen Kriterien bewertet der Algorithmus, ob bestimmte Inhalte sicherheitsrelevante Informationen enthalten? Es werden keine Audioaufzeichnungen ausgewertet. b) Wie häufig wurden in den letzten zwölf Monaten aufgrund von Hinweisen des angewendeten algorithmischen Systems sicherheitsrelevante Informationen an den Verfassungsschutz, das Bundeskriminalamt (BKA), den Bundesnachrichtendienst (BND) oder andere mit Sicherheitsaufgaben befassten Behörden weitergeleitet? Die Anwendung weist die Entscheidenden im Asylbereich nur auf eine mögliche Sicherheitsrelevanz hin. Es obliegt – wie auch schon beim jetzigen Meldeverfahren – den Entscheidenden, einen Sachverhalt an das Sicherheitsreferat des Bundesamtes für Migration und Flüchtlinge (BAMF) zu melden. Dort werden die Meldungen erneut hinsichtlich ihrer Relevanz bewertet und erst dann an die zuständigen Sicherheitsbehörden gesteuert. Da die Anwendung das bestehende Meldesystem ergänzt, findet keine gesonderte statistische Erfassung statt. c) Welche Stelle ist bei dieser Anwendung für das Feedback des „überwachten Maschinenlernens“ zuständig (z. B. das BAMF oder eine externe Stelle)? Das inhaltliche Feedback, d. h. was in einem Anhörungsprotokoll sicherheitsrelevante Informationen sind, erfolgt durch das BAMF, die technische Umsetzung erfolgt durch externe Dienstleister. d) Wurde eine Evaluation durchgeführt oder ist eine solche geplant, um mögliche Bias bzw. Fehlinterpretationen der algorithmischen Systeme zu entdecken, zu korrigieren und ihre Folgen zu bewerten? Das System ist noch nicht im Flächenbetrieb. Eine regelmäßige Evaluation der Modelle im Flächenbetrieb ist geplant. e) Wie soll mit Anwendungen im Geschäftsbereich des BAMF verfahren werden, die jetzt schon pilotiert oder eingesetzt werden, wenn sie nach Inkrafttreten des AI Act (Artificial Intelligence Act) der EU als Hochrisikoanwendung gelten? Der Einsatz von Systemen der KI erfolgt auf Grundlage und in Einklang mit den geltenden Rechtsgrundlagen. Soweit es erforderlich ist, erfolgt bei Änderung der gesetzlichen Grundlagen eine entsprechende Anpassung. Gesamtherstellung: H. Heenemann GmbH & Co. KG, Buch- und Offsetdruckerei, Bessemerstraße 83–91, 12103 Berlin, www.heenemann-druck.de Vertrieb: Bundesanzeiger Verlag GmbH, Postfach 10 05 34, 50445 Köln, Telefon (02 21) 97 66 83 40, Fax (02 21) 97 66 83 44, www.bundesanzeiger-verlag.de ISSN 0722-8333]