„Sehende Steine“ statt „Kommissar Zufall“?
- Künstliche Intelligenz im Dienst der Polizei -
Von Mario Martini und Jonas Botta
Die Polizeiarbeit steht vor einem grundlegenden Wandel: Bund und Länder wollen mit dem Programm „Polizei 20/20“ die digitale Transformation ihrer Sicherheitsbehörden forcieren. Insbesondere sollen KI-Anwendungen Datensätze zusammenführen und Muster erkennen, die menschlichen Ermittlern verborgen blieben. Die Polizeibehörden setzen dafür vor allem auf die Software „Gotham“ des US-Unternehmens Palantir Technologies. Bayern, Hessen und Nordrhein-Westfalen nutzen diese bereits; weitere Länder planen dies. Ihrer Hoffnung, der Polizeiarbeit durch Datenverknüpfung und -auswertung einen Effizienzschub zu verleihen, stehen aber zum einen grundrechtliche Risiken gegenüber. Zum anderen ruft „Gotham“ die tiefgreifende Frage nach ausreichender digitaler Souveränität auf den Plan.
Diskriminierungsrisiken und technologische Abhängigkeit
Mit großer Datenmacht kommt große Verantwortung: Polizeiliche Datenanalysen mittels KI bergen nicht nur das Risiko, lückenlose Persönlichkeitsprofile entstehen zu lassen. Der Entscheidungsfindungsprozess lernfähiger Systeme bleibt auch regelmäßig – selbst für die Entwickler der Anwendungen – intransparent (sogenanntes Blackbox-Phänomen). Fehlerhafte Ergebnisse und Diskriminierungen (etwa bestimmter Bevölkerungsgruppen) zu entdecken, fällt dadurch schwer.
Die faktische Monopolstellung von Palantir macht deutsche Sicherheitsbehörden technologisch abhängig von einem US-Unternehmen, dessen Gründer demokratieskeptische bis -feindliche Positionen vertritt – und das auch in den Vereinigten Staaten nicht erst seit seiner Zusammenarbeit mit der Einwanderungsbehörde ICE selbst sehr umstritten ist. Der US-amerikanische CLOUD Act kann US-Behörden zudem den Zugriff auf in Deutschland gespeicherte Daten eröffnen.
Unionsrechtliche Vorgaben
Das Unionsrecht zieht polizeilichen Datenanalysen mittels KI enge Grenzen. Die Datenschutzrichtlinie für Inneres und Justiz (JI-RL) verbietet diskriminierendes Profiling, das auf der Grundlage besonderer Datenkategorien erfolgt (Art. 11 Abs. 3 JI-RL). Datenübermittlungen an private Akteure in Drittstaaten wie den USA lässt sie nur „im speziellen Einzelfall“ zu (Art. 39 JI-RL). Regelmäßige Übermittlungen als Teil des normalen Analysebetriebs sind damit nicht vereinbar.
Die KI-VO ergänzt diesen Rechtsrahmen um produktsicherheitsrechtliche Vorgaben. Sie verbietet vorhersagende Polizeiarbeit („Predictive Policing“), die ausschließlich auf Profiling natürlicher Personen basiert (Art. 5 Abs. 1 UAbs. 1 lit. d Hs. 1 KI-VO). Sonstige polizeiliche KI-Anwendungen stuft sie regelmäßig als (engmaschig regulierte) Hochrisiko-KI-Systeme ein (Art. 6 Abs. 2 in Verbindung mit Anhang III Nr. 6 KI-VO).
Polizeibehörden entwickeln die intelligente Analysesoftware zwar nicht selbst. Wenn sie diese unter eigenem Namen einsetzen oder sie wesentlich verändern, mutieren sie aber von Betreibern zu Quasi-Anbietern. Sie müssen dann umfassende Compliance-Pflichten erfüllen (vgl. Art. 25 Abs. 1 KI-VO). Risikomanagementsysteme, Dokumentationspflichten, Transparenzvorgaben und eine wirksame menschliche Aufsicht sind nur einige der daraus erwachsenden Anforderungen.
Polizeirechtliche Vorgaben und ihre Verfassungsmäßigkeit
Auf nationaler Ebene zeigt sich ein uneinheitliches normatives Bild. Mehr als die Hälfte der Bundesländer hat (noch) keine spezifische Rechtsgrundlage für automatisierte Datenanalysen erlassen. Allein auf eine allgemeine Verarbeitungsgrundlage lässt sich diese eingriffsintensive Maßnahme aber nicht stützen. Sie bedarf einer hinreichend klaren gesetzlichen Ermächtigung.
Immer mehr Landesgesetzgeber führen daher spezielle Rechtsgrundlagen ein. Ihre Konzepte unterscheiden sich insbesondere darin, ob Polizeibehörden auch lernfähige Systeme einsetzen dürfen oder nicht. Baden-Württemberg, Berlin, Hessen, Nordrhein-Westfalen und – voraussichtlich bald – Niedersachsen, Sachsen-Anhalt, Sachsen sowie der Bund lassen das grundsätzlich zu. Bayern, Hamburg und Rheinland-Pfalz (sowie künftig voraussichtlich auch Schleswig-Holstein) verbieten lernfähige Systeme demgegenüber: Die Datenanalyse soll ausschließlich regelbasiert und deterministisch ablaufen.
Aufgrund ihrer hohen Eingriffsintensität darf eine automatisierte Datenanalyse nur bei zumindest hinreichend konkretisierter Gefahr für besonders gewichtige Rechtsgüter erfolgen. Diesen grundrechtlichen Maßstab verfehlen sämtliche Länderregelungen. Keine hält einer verfassungsrechtlichen Überprüfung vollständig stand. Zwei Ländernormen hatte das Bundesverfassungsgericht im Jahr 2023 bereits für teilweise verfassungswidrig erklärt (BVerfGE 165, 363). Die zentralen Kritikpunkte gelten auch für die neuen Gesetze weitgehend fort: Erforderlich ist unter anderem eine hinreichende Beteiligtenprognose – die Identität der zu analysierenden Personen muss zumindest in wesentlichen Ansätzen umrissen sein. Um den schwachen Individualrechtsschutz zu kompensieren, ist darüber hinaus ein verpflichtendes Kontrollkonzept mit regelmäßigen Prüfungen durch Datenschutzbehörden unerlässlich. Die meisten Länder begnügen sich jedoch mit bloßen Anhörungsrechten, ohne konkrete Kontrollpflichten gesetzlich zu verankern.
Soweit der Gesetzgeber lernfähige KI-Systeme zulässt, müssen die Regelungen zudem spezifische Vorkehrungen gegen das Blackbox-Phänomen treffen. Grundrechtssensible algorithmische Entscheidungen müssen in einem Rechtsstaat stets nachvollziehbar sein. Unterhalb der Schwelle einer konkretisierten Gefahr dürfen solche Systeme außerdem überhaupt nicht zum Einsatz kommen. Zu diesen essenziellen Fragen schweigen die jeweiligen Landesnormen de lege lata jedoch weitgehend.
Beim Einsatz privater Software aus dem Ausland bedarf es zusätzlicher Schutzmechanismen, die hinreichende Transparenz und Kontrolle sicherstellen. Der Staat muss die Funktionsweise und Ergebnisse der Analyseanwendungen verstehen und kommunizieren. Die umfassenden Datenzugriffsrechte US-amerikanischer Behörden, die unabhängig vom Speicherort polizeilicher Daten bestehen, aktivieren zudem staatliche Schutzpflichten aus den nationalen und unionalen Grundrechten. Betroffene genießen gegen solche Datenzugriffe beispielsweise keinen effektiven Rechtsschutz im Sinne des Art. 19 Abs. 4 Satz 1 GG bzw. Art. 47 GRCh. Hinzu kommen Sicherheitsrisiken, die aus unberechtigten Zugriffen sonstiger staatlicher oder nicht-staatlicher Angreifer auf den sensiblen Datenschatz erwachsen. Vorzuziehen wären staatliche Eigenentwicklungen intelligenter Analysesoftware, etwa in KI-Reallaboren nach Art. 57 ff. KI-VO.
Nachbesserungen zwingend erforderlich
Der Wunsch nach intelligenten polizeilichen Analyseinstrumenten ist grundsätzlich nachvollziehbar. Wirksame Werkzeuge sind angesichts neuer Bedrohungen unter dem Gesichtspunkt effektiver Gefahrenabwehr bzw. Strafverfolgung auch geboten. Ihr Einsatz ist jedoch mit den grundrechtlichen Vorgaben in Einklang zu bringen – nicht umgekehrt. Solange das rechtliche Fundament nicht tragfähig ist, bewegt sich der Einsatz KI-gestützter Datenanalyse in der Polizeiarbeit auf verfassungsrechtlich unsicherem Terrain. Das schwächt nicht nur den Grundrechtsschutz. Es gefährdet letztlich auch das Vertrauen der Gesellschaft in eine moderne, rechtsstaatliche Polizei.
Konkret bedarf es:
- höherer Eingriffsschwellen für eingriffsintensive Datenanalysen,
- verpflichtender Kontrollkonzepte mit regelmäßigen Prüfungen durch die Datenschutzbehörden,
- spezifischer Regelungen für lernende Systeme, die deren Einsatzvoraussetzungen und Kontrollanforderungen präzise festlegen,
- Transparenzvorgaben für private Software, die staatliche Nachvollziehbarkeit sicherstellen, und
- Investitionen in digitale Souveränität durch staatliche Eigenentwicklungen und Nutzung von KI-Reallaboren.
Die ausführliche Analyse der Autoren zur Zulässigkeit polizeilicher Datenanalyse mittels KI ist unter dem Titel „Polizeiliche Datenanalyse mittel KI – Unions-, verfassungs- und polizeirechtliche Leitplanken für Palantir & Co“ in der DÖV 2025, 1033-1044 erschienen.