Chancen und Risiken für KI in der öffentlichen Verwaltung

Dr. iur. Dr. sc. math. ETH Markus Winkler ist Rechtsanwalt und Counsel bei Pestalozzi in Zürich, spezialisiert auf IT- und Datenschutzrecht

Grosse Erwartungen

Die Digitalisierung verkörpert die aktuelle Speerspitze des technischen Fortschritts der Informationsgesellschaft und einer Entwicklung, die vor Jahrzehnten mit der Kommerzialisierung und Verbreitung des Computers als Arbeitswerkzeug im Alltag ihren Ausgang genommen hat. Als Teil dieser Entwicklung hat die künstliche Intelligenz (KI) in den letzten Jahren enorme Fortschritte gemacht. KI soll nicht nur menschliche Fehler ausgleichen, sondern Zusammenhänge entdecken und nutzbar machen. Algorithmen des maschinellen Lernens sollen intelligenter, schneller und zuverlässiger sein als Menschen. Sie sind sogar in der Lage, sich selbst Dinge beizubringen. Der öffentliche Sektor sieht sich vor der Herausforderung, diese Technologien effektiv zu nutzen, um Effizienz und Servicequalität zu steigern, während gleichzeitig ethische und rechtliche Fragen geklärt werden müssen. Trotz dieser Fortschritte sind wir in vielen Bereichen noch in der Entwicklungs- und Experimentierphase, weshalb eine präzise Regulierung und kontinuierliche Überwachung notwendig sind.

In diesem Beitrag geben wir eine Übersicht über mögliche Anwendungsfälle („Use Cases“) für die KI in der öffentlichen Verwaltung. Diese Anwendungsfälle können zweifellos als Chancen für eine effizientere Verwaltung der Zukunft verstanden werden. Wo Chancen sind, sind oft auch Risiken. Wir geben Hinweise, wo sich beim Einsatz von KI Risiken verwirklichen können und wie diesen Risiken mit geeigneten Massnahmen präventiv begegnet werden kann.

Dieser Beitrag kann keine abschliessenden Lösungen präsentieren. Die Entwicklung von geeigneten Risikomassnahmen folgt der technologischen Entwicklung nach. Bestenfalls erfolgt sie parallel dazu. Wir wollen das Bewusstsein für diese Zusammenhänge schärfen und zu Diskussion und Austausch zwischen den Beteiligten anregen.

1. Vielfältige KI-Anwendungen für die öffentliche Verwaltung

KI ermöglicht die Verarbeitung grosser Datenmengen durch sogenannte Sprachmodelle („Large Language Models“ – abgekürzt LLM). Ideale KI-Anwendungen für die öffentliche Verwaltung lassen sich z.B. für Bereiche wie das Gesundheitswesen, die soziale Sicherheit und den Verkehr finden. Anwender können sich die KI zu Nutze machen, um z.B. Prognosen für die zukünftige Planung von Kapazitäten in Spitälern oder im öffentlichen Verkehr zu erstellen. 

Gemäss Projektdatenbank des Bundes (www.cnai.swiss) umfassen die aktuell in der Bundesverwaltung eingesetzten KI-Anwendungen Funktionen wie Text- und Bilderkennung, Plausibilitätsprüfung, vorausschauende Instandhaltung oder Vorhersagen. 

Beispiel:

Der Dienst Überwachung Post- und Fernmeldeverkehr ÜPF (eine Dienststelle des Eidg. Polizei- und Justizdepartements EJPD) hat eine Anwendung im Probeeinsatz, welche eine KI-gestützte Transkription von aufgezeichneten Gesprächen im Rahmen der Fernmeldeüberwachung samt anschliessender maschineller Übersetzung anbietet. Diese Funktion könnte insbesondere bei der Echtzeitüberwachung des Fernmeldeverkehrs nützlich sein, von der es in den Jahren 2019-2023 durchschnittlich 1’248 Fälle pro Jahr gab. 

Praxisimpuls:

Die KI kann nicht nur dabei helfen, die Kernaufgaben einer Verwaltungseinheit zu verbessern oder zu beschleunigen. Erste praktische Erfahrungen mit der KI lassen auch Veränderungen in der klassischen Büroarbeit erwarten, sodass die Mitarbeitenden mehr Zeit für Kommunikation und verbesserten Kundenservice haben. Zu denken ist hier etwa an die automatische Zusammenfassung von Sitzungen, an Entwürfe für Weisungen oder von Verfügungen sowie an Dokumentenabfragen aller Art.

2. Rechtliche Herausforderungen

Wie wohl jede technologische Neuerung bringt auch die KI eine Reihe von rechtlichen Herausforderungen mit sich. Die juristische Community debattierte bereits intensiv, wie das Trainieren von LLMs mit urheberrechtlich geschütztem Ausgangsmaterial (etwa Texten auf dem Internet) rechtskonform erfolgen kann. In den USA sind bereits zahlreiche Gerichtsprozesse zu diesem Thema hängig.

Für die Anwender von KI-Systemen stellen sich vermehrt Fragen der Haftung, wenn sich etwa das von einer KI-Anwendung generierte Ergebnis als falsch erweist, nachdem es als Grundlage für eine Entscheidung diente. Gerade im öffentlich-rechtlichen Bereich stellen sich daneben verschiedene Fragen bezüglich Rechtsstaatlichkeit, Nicht-Diskriminierung oder Transparenz. Entscheidungen der öffentlichen Verwaltung müssen nachvollziehbar sein. Das kann herausfordernd sein, wenn die KI mit im Spiel ist, die für ihren „Blackbox-Effekt“ bekannt ist.

Beispiel:

Ein Mitarbeiter möchte den Text, den er als Begründung für eine Verfügung verfasst hat, mit Hilfe eines KI-Chatbots eleganter umschreiben. Dazu kopiert er seinen Entwurf in die Onlinemaske des KI-Chatbots. Der Text enthält die Personendaten verschiedener beteiligter Personen. Es ist vorgängig genau zu prüfen, wo die in den KI-Chatbot eingegebenen Daten prozessiert werden (in der Schweiz, im Ausland?) und ob allenfalls Dritte Zugriff auf diese Daten nehmen können oder ob und wie die Daten für eigene Zwecke des Anbieters (Verbessern seiner Angebote?) weiterverwendet werden können. Allenfalls muss der Text vor dem Hochladen anonymisiert werden.

3. Regulierung der KI in der Schweiz und im Ausland

Die Frage, wie KI rechtlich zu erfassen und zu regulieren ist, beschäftigt die Behörden weltweit. Bis zum Herbst 2024 hatten allerdings erst sehr wenige Länder rechtsverbindliche Instrumente spezifisch für die KI eingeführt. Namentlich unterzeichnete US-Präsident Biden am 30. Oktober 2023 eine „Executive Order“, die einen ersten Schritt zur Regulierung der KI in den USA markiert. In der EU trat am 1. August 2024 die vielbeachtete und vieldiskutierte „Verordnung über KI“ (offiziell als Verordnung (EU) 2024/1689 bezeichnet) in Kraft. Ihre Bestimmungen werden phasenweise bis zum 2. August 2026 wirksam werden. Erste Verpflichtungen, so zum Ausbilden von Mitarbeitern von Unternehmen, die KI einsetzen, gelten seit dem 2. Februar 2025 (Art. 4 zur „KI-Kompetenz“).

Auch die Schweizer Regierung beschäftigte sich seit längerem mit dem Thema der KI-Regulierung. Ein erster Bericht einer interdepartementalen Arbeitsgruppe wurde schon 2019 veröffentlicht. Der Bundesrat verabschiedete daraufhin 2020 Leitlinien für den Einsatz der KI durch die Bundesverwaltung. Am 12. Februar 2025 veröffentlichte der Bundesrat sodann seine „Auslegeordnung zur Regulierung von KI“. Diese Auslegeordnung sieht vor, dass das Schweizer Recht bis 2026/2027 punktuell an die Herausforderungen der KI angepasst werden soll. Ein eigenes „KI-Gesetz“ ist nicht vorgesehen. Als zentraler Baustein soll vielmehr die Ratifikation der KI-Konvention des Europarats im Vordergrund stehen. 

Die KI-Konvention des Europarats richtet sich hauptsächlich an öffentliche Einrichtungen. Sie soll sicherstellen, dass der Einsatz von KI im Einklang mit internationalen Menschenrechtsnormen, demokratischen Prinzipien und Rechtsstaatlichkeit erfolgt. Die Vertragsstaaten müssen den Schutz von Menschenrechten gewährleisten und sicherstellen, dass KI-Systeme diese Prinzipien respektieren. Dazu gehören Rechtsmittel und Mechanismen zur Risikobewertung und Abschätzung der negativen Auswirkungen von KI. Für Regulierung des Handelns privater Akteure haben die Vertragsstaaten einen grösseren Spielraum.

Anmerkung: 

Die Schweiz setzt in vielen Rechtsgebieten seit längerem auf einen technologieneutralen Ansatz (so z.B. im Finanzmarktrecht). Sind technologiespezifische Regulierungen unerlässlich, so verfolgt die Schweiz einen sektoriellen Ansatz. Das heisst, dass die Rechtsetzung branchen- oder themenspezifisch erfolgt. Die KI-Verordnung der EU ist dagegen allgemein gefasst und betrifft grundsätzlich alle Sektoren (es gibt gewisse Ausnahmen). Es wird sich weisen, ob dieser sektorielle Ansatz der Schweiz unverändert aufrechterhalten werden kann.  

4. Vorkehrungen zur Risikovorsorge

Jede neue Technologie verlangt nach einer angemessenen Risikovorsorge. Dazu dient eine angepasste Steuerung und Kontrolle („Governance“). Eine aussichtsreiche KI-Governance gründet sich auf klar definierten Rollen, Verantwortlichkeiten und Entscheidungsprozessen. Die Zuweisung von Verantwortlichkeiten ist unerlässlich, um sicherzustellen, dass KI-Projekte mit den Aufgaben der betreffenden Verwaltungseinheit und den ethischen Standards der öffentlichen Verwaltung übereinstimmen.

Die Definition von Verantwortlichkeiten in internen Weisungen oder Leitlinien dient der Erfüllung der Rechenschaftspflicht und verbessert die Haftungsbeschränkung. Je spezifischer die Weisungen oder Leitlinien sind, desto besser ist die Verwaltungseinheit vor einer möglichen Haftung geschützt.

Erstens sollte ein spezifischer Rahmen für die Risikobewertung von KI-Projekten entwickelt werden. Dies sollte die Identifizierung potenzieller Risiken wie Datenschutzverletzungen, ethische Verstösse und funktionale Ausfälle sowie die Bewertung ihrer Auswirkungen und Wahrscheinlichkeit umfassen. Zweitens sollten Strategien zur Minderung der identifizierten Risiken definiert, dokumentiert und umgesetzt werden. Dabei kann es sich sowohl um technische Massnahmen handeln (z. B. Verschlüsselung und Anonymisierung von Personendaten) als auch um organisatorische Massnahmen (z.B. interne Weisungen, Mitarbeiterschulungen und Awareness-Programme). Schliesslich sollte ein Ablaufplan erstellt werden, um KI-bezogene Vorfälle umgehend zu beheben. Dieser Plan sollte die Schritte skizzieren, die im Falle einer Datenschutzverletzung, eines ethischen Verstosses oder anderer KI-bezogener Vorfälle zu ergreifen sind.

Insbesondere beim Datenschutz ist immer zu fragen, wo genau die in das KI-System eingegebenen Daten bearbeitet werden. Für Bundesbehörden und private Akteure hat der Eidgenössische Datenschutzbeauftragte (EDÖB) bereits klar festgehalten, dass KI-gestützte Datenbearbeitungen zwar selbst dann nach dem DSG zulässig sind, wenn sie mit hohen Risiken verbunden sind. Ihr Einsatz erforderte aber angemessene Massnahmen zum Schutz der potenziell betroffenen Personen. Aus diesem Grund verlange das Gesetz bei hohen Risiken eine sog. „Datenschutz-Folgenabschätzung“ (Art. 22 DSG). Für kantonale Verwaltungseinheiten sind hierzu die anwendbaren kantonalen Gesetze zu beachten.

Praxisimpuls:

Eine interne Weisung für die Durchführung von KI-Projekten und den Einsatz von KI-Systemen sollte die folgenden Themen umfassen:

• Zweck und Zielsetzung / Ziele beim Einsatz von KI
• Rahmen für die KI-Nutzung: Datenschutz und Amtsgeheimnis
• Auswahl von KI-Tools
• Ethik
• Transparenz
• Schulung
• Verantwortlichkeiten

Fazit: Risiken erkennen und Chancen nutzen

Die KI bietet vielfältige Chancen gerade auch für die öffentliche Verwaltung, um die Verwaltungsprozesse effizienter zu machen und dadurch für die Mitarbeitenden mehr Zeit zu schaffen, sich um die Kernaufgaben und um die Anliegen der Kunden zu kümmern.

Dabei ist schon im Vorfeld in der Projektphase darauf zu achten, alle massgeblichen Risiken zu identifizieren und insbesondere die Vorgaben des Datenschutzes einzuhalten. Verwaltungseinheiten sollten dazu interne Weisungen entwickeln, die regelmässig zu überprüfen und an die neuen Erkenntnisse anzupassen sind. Ferner sollten alle Mitarbeitenden so weit ausgebildet werden, dass sie über grundlegende Kenntnisse der KI verfügen. Mitarbeitende, die regelmässig KI einsetzen sollen, benötigen vertiefte Kenntnisse und sollten in der Lage sein, Ergebnisse der KI kritisch zu hinterfragen.

Die wichtigste Frage überhaupt ist jedoch die folgende: Wozu wollen wir überhaupt KI einsetzen? Der Entwicklungsprozess sollte in jedem Fall mit den angedachten Anwendungsfällen (den „Use Cases“) beginnen. Erst dann lassen sich Chancen und Risiken gegenseitig abgleichen.