Vom automatisierten Steuerbescheid über Chatbots bis hin zur „vorausschauenden Polizeiarbeit“ – Systeme des automatisierten Entscheidens (ADM-Systeme) werden bereits vielfach im öffentlichen Sektor eingesetzt. Aber was passiert, wenn ein Algorithmus falsche oder diskriminierende Entscheidungen trifft? Aufgrund der potentiell weitreichenden Auswirkungen auf das Leben der Menschen, braucht es Einschätzungen dazu, welche Folgen der Einsatz von ADM-Systemen in der öffentlichen Verwaltung haben kann. Verschiedene Instrumente unterstützen dabei, ADM-Systeme nach ethischen Prinzipien einzuführen – unter anderem der ethische Daten-Assistent von der Utrecht Data School, der auf der Piazza-Konferenz vorgestelltwird. Auch ein von AlgorithmWatch und AlgorithmWatch Schweiz entwickeltes Impact Assessment Tool bietet Hilfestellung.
ADM-Systeme in der öffentlichen Verwaltung: Potenziale und Risiken
ADM-Systeme versprechen, einfache Arbeitsabläufe zu automatisieren, Personal zu entlasten, die Effizienz zu steigern und die Qualität von Dienstleistungen zu verbessern. Es gibt viele Möglichkeiten, sie in der öffentlichen Verwaltung einzusetzen. Auch wenn automatisierte Prozesse Verbesserungen mit sich bringen können, birgt ihr Einsatz viele Risiken. Wenn ein ADM-System über die Vergabe von Sozialleistungen entscheidet oder auf mögliche Fälle von häuslicher Gewalt oder Kindesgefährdung hinweisen soll, betreffen seine Entscheidungen die Existenz und die Grundrechte der Betroffenen.
AlgorithmWatch und AlgorithmWatch Schweiz haben daher als konkrete Hilfestellung für die öffentliche Verwaltung ein Impact Assessment Tool entwickelt. Es beruht auf einer Studie zum Einsatz von KI in der öffentlichen Verwaltung im Auftrag des Kantons Zürich. Das Instrument unterstützt Behörden dabei, die Folgen von ADM-Systemen im Einzelfall und während ihres gesamten Lebenszyklus abzuschätzen. Grundlage für die Bewertung sind vier ethische Grundsätze: Schadensvermeidung, Autonomie, Gerechtigkeit und Fairness sowie Benefizienz. Zwei Checklisten helfen bei der Reflexion über potenzielle Risiken und mögliche Reaktionen in einem frühen Stadium des Entwicklungsprozesses.
Das entwickelte Instrument ermöglicht eine kontinuierliche Risikobewertung, wobei der Schwerpunkt auf Verständlichkeit und Benutzerfreundlichkeit liegt. In einem ersten Schritt wird geprüft, ob und wenn ja, welche Risiken von einem System ausgehen. Werden Risiken identifiziert, geht es in einem zweiten Schritt darum, Transparenz darüber zu schaffen, welche Risiken bestehen und was die Verwaltung getan hat, um diese zu minimieren. Je mehr Risikosignale identifiziert werden, desto umfassender und differenzierter muss ein anschließender Transparenzbericht ausfallen.
Ein Beispiel
Anhand des fiktiven ADM-Systems „Swiss COMPAS-System“ lässt sich die Anwendung des Impact Assessment Tools veranschaulichen. Das Swiss-COMPAS-System soll Prognosen darüber erstellen, welche Rückfallwahrscheinlichkeit verurteilte Straftäter:innen nach ihrer Haftentlassung haben, die als Grundlage zur Festlegung von Bewährungsmaßnahmen dienen – ähnlich wie das US-amerikanische System COMPAS[1]. Im Rahmen der Folgenabschätzung werden Fragen über die Art der erhobenen und verwendeten Daten gestellt, wie beispielsweise Daten über das Geschlecht einer Person, die durch Antidiskriminierungsgesetze geschützt sind. Die Verwaltung, die Swiss COMPAS einsetzen will, müsste also im Transparenzbericht Auskunft darüber geben, welche Datenschutzmaßnahmen getroffen werden oder wie sichergestellt werden kann, dass sensible Daten der betroffenen Personen geschützt bleiben und das System weiterhin genutzt werden kann. Ebenso müsste die Verwaltung in ihrem Transparenzbericht Auskunft darüber geben, wie relevante Stakeholder:innen – zum Beispiel die Straftäter:innen und ihre Familien, Anwält:innen oder potenzielle und ehemalige Opfer – von der Nutzung des COMPAS-Systems betroffen sein könnten. Der Transparenzbericht dokumentiert die auf Grundlage der Checkliste gegebenen Antworten.
Die besondere Rolle der öffentlichen Verwaltung
Oft ist wenig darüber bekannt, wie ADM-Systeme in der öffentlichen Verwaltung funktionieren und wo sie eingesetzt werden. Da eine Behörde aber in der Regel die einzige Anbieterin einer bestimmten Dienstleistung ist, sind Betroffene ihr alternativlos ausgeliefert. Sie haben keine Möglichkeit, sich einer automatisierten Entscheidung zu entziehen. Gleichzeitig haben Behörden nicht nur Zugang zu besonders sensiblen persönlichen Daten – ihre Entscheidungen betreffen besonders häufig die Daseinsgrundlage und -vorsorge der Menschen. Aus diesen Gründen ist es gerade bei öffentlichen Verwaltungen so entscheidend, die Auswirkungen von ADM-Systemen systematisch abzuschätzen und Transparenz sowie Rechenschaftspflicht gegenüber Beteiligten zu gewährleisten.
Ebenfalls notwendig ist ein fundierter demokratischer und fachlicher Diskurs über den Einsatz von ADM-Systemen im öffentlichen Sektor. Indem sie verschiedene Stakeholder:innen aus Zivilgesellschaft, Wissenschaft und Verwaltung zusammenbringt, bietet am 2. Dezember 2021 die Piazza-Konferenz eine Möglichkeit dazu, diesen Diskurs anzustoßen und weiterzuführen.
Weitere Informationen
Details zu dem von AlgorithmWatch und AlgorithmWatch Schweiz entwickelten Impact Assessment Tool finden Sie in den folgenden zwei Publikationen:
1) Loi, Michele in Zusammenarbeit mit Mätzener, Anna; Müller, Angela; Spielkamp, Matthias (2021): Automated Decision-Making Systems in the Public Sector – An Impact Assessment Tool for Public Authorities.
2) Michot, Sarah; Spielkamp, Matthias (2021): Tools zur Folgenabschätzung – Automatisierte Entscheidungsfindungssysteme im öffentlichen Sektor. Policy Brief des Digital Autonomy Hub.
Eine Vorstellung davon, wie der Einsatz von ADM-Systemen in der öffentlichen Verwaltung in Zukunft aussehen könnte und durch welche politischen Schritte dies zu erreichen wäre, lesen Sie in unserer Digitalvision für die Digitale Zivilgesellschaft.
[1] Siehe unter: https://en.wikipedia.org/wiki/COMPAS_(software)
Titelbild: Jonas Tebbe | Unsplash
