Einordnung: KI-Einsatz als sozio-technisches Governance-Problem
Mit dem EU AI Act etabliert die Europäische Union erstmals einen verbindlichen Ordnungsrahmen für den Einsatz Künstlicher Intelligenz (KI). Für die öffentliche Verwaltung ist dies von besonderer Relevanz, da algorithmische Systeme zunehmend in Entscheidungsprozesse eingebettet werden und damit unmittelbar auf Verwaltungsakte, Ressourcenzuteilung und Bürgerrechte wirken.
Aus Perspektive der Wirtschaftsinformatik ist KI nicht als isolierte Technologie zu verstehen, sondern als Bestandteil sozio-technischer Systeme, in denen Daten, Algorithmen, organisatorische Prozesse und menschliche Akteure eng miteinander interagieren. Entsprechend adressiert der EU AI Act weniger rein technische Eigenschaften, sondern primär Governance-Strukturen entlang des gesamten Systemlebenszyklus.
Risikobasierter Regulierungsansatz des EU AI Act
Der EU AI Act folgt einem risikobasierten Klassifikationsansatz, der KI-Systeme abhängig von ihrem potenziellen Schadensausmaß reguliert:
- Unannehmbares Risiko: Systeme, die grundlegende Rechte verletzen (z. B. Social Scoring durch Behörden) sind verboten.
- Hochrisiko: Systeme mit signifikantem Einfluss auf Lebenssituationen oder Grundrechte (z. B. Leistungsgewährung, Zugang zu Bildung oder Beschäftigung).
- Begrenztes Risiko: Systeme mit Transparenzpflichten, insbesondere bei Interaktion mit Nutzern (z. B. Chatbots).
- Minimales Risiko: Systeme ohne spezifische regulatorische Anforderungen.
Für die öffentliche Verwaltung ist insbesondere die Kategorie der Hochrisiko-KI zentral, da viele Anwendungsfälle – etwa Entscheidungsunterstützung bei Sozialleistungen oder automatisierte Klassifikation von Anträgen – unter Anhang III des EU AI Act fallen.
Hochrisiko-KI in der Verwaltung: Charakteristika und Beispiele
Ein KI-System wird typischerweise als Hochrisiko klassifiziert, wenn es:
- den Zugang zu öffentlichen Leistungen oder staatlichen Ressourcen beeinflusst,
- zur Bewertung oder Klassifikation natürlicher Personen eingesetzt wird,
- in sicherheitskritischen oder infrastrukturellen Kontexten operiert.
Beispielsweise fällt ein System zur Priorisierung von Wohngeldanträgen ebenso in diese Kategorie wie KI-basierte Entscheidungsunterstützung in der Arbeitsvermittlung. Dagegen unterliegen rein informationsbereitstellende Systeme primär Transparenzanforderungen.
Governance-Anforderungen für Hochrisiko-KI
Der EU AI Act definiert einen umfassenden Anforderungskatalog, der sich aus Sicht der Wirtschaftsinformatik als integriertes Governance-Framework interpretieren lässt:
- Risikomanagement: Kontinuierliche Identifikation und Steuerung von Risiken entlang des Lebenszyklus (Planung, Entwicklung, Betrieb).
- Daten-Governance: Sicherstellung von Datenqualität, Repräsentativität und Bias-Kontrolle als Voraussetzung valider Modelle.
- Technische Dokumentation: Nachvollziehbare Beschreibung von Modelllogik, Trainingsdaten und Systemgrenzen.
- Protokollierung und Auditierbarkeit: Lückenlose Nachverfolgbarkeit von Systementscheidungen als Grundlage regulatorischer Prüfungen.
- Transparenz: Offenlegung des KI-Einsatzes gegenüber Nutzern sowie klare Abgrenzung zu menschlichen Entscheidungen.
- Menschliche Aufsicht: Integration von Kontroll- und Eskalationsmechanismen (Human-in-the-Loop / Human-on-the-Loop).
- Robustheit und Sicherheit: Schutz vor Fehlfunktionen, adversarialen Angriffen und Systemmanipulation.
Wichtig ist: Der EU AI Act verbietet nicht pauschal automatisierte Entscheidungen, fordert jedoch insbesondere bei Hochrisiko-Systemen wirksame menschliche Kontrollinstanzen und Eingriffsmöglichkeiten.
Implikationen für die Wirtschaftsinformatik: Prozess- und Entscheidungsintegration
Die regulatorischen Anforderungen lassen sich nicht isoliert auf der Technologieebene erfüllen. Vielmehr erfordern sie eine Integration in bestehende Organisations- und Prozessstrukturen. Hier zeigt sich die zentrale Rolle der Wirtschaftsinformatik:
- Business Process Management (BPM): Modellierung und Standardisierung von Verwaltungsprozessen als Grundlage für Transparenz und Kontrolle.
- Decision Model and Notation (DMN): Explizite Abbildung algorithmischer Entscheidungslogiken zur Sicherstellung von Nachvollziehbarkeit.
- Data Governance: Etablierung von Verantwortlichkeiten, Qualitätsstandards und Datenflüssen.
- IT-Governance: Einbettung von KI-Systemen in Compliance-, Risiko- und Kontrollstrukturen.
Damit wird deutlich: KI-Governance ist kein isoliertes Compliance-Thema, sondern ein integraler Bestandteil digitaler Verwaltungsarchitekturen.
Handlungsempfehlungen für Behörden
- Systeminventur: Identifikation und Klassifikation aller KI-Systeme gemäß EU AI Act.
- Aufbau eines KI-Registers: Strukturierte Dokumentation insbesondere für Hochrisiko-Systeme.
- Prozessmodellierung: Vollständige Abbildung KI-relevanter Prozesse in BPMN.
- Explizite Entscheidungslogik: Einsatz von DMN zur Formalisierung regelbasierter Entscheidungen.
- Kontrollarchitektur: Definition von Human-in-the-Loop-Strukturen und Eskalationspfaden.
- Verknüpfung mit Datenschutz: Integration in bestehende Datenschutz-Folgenabschätzungen (DSFA).
Fazit: KI-Compliance als Ergebnis organisationaler Reife
Der EU AI Act fungiert weniger als technologische Einschränkung denn als Governance-Rahmen für den verantwortungsvollen KI-Einsatz. Für die öffentliche Verwaltung bedeutet dies: Compliance ist primär eine Frage organisationaler Reife, insbesondere in den Bereichen Prozessmanagement, Daten-Governance und Entscheidungsarchitektur.
Behörden, die diese Grundlagen systematisch entwickeln, schaffen nicht nur regulatorische Konformität, sondern auch die Voraussetzung für skalierbare, vertrauenswürdige und effiziente KI-Anwendungen.
