«Nicht KI sollte entscheiden, wer vom Geheimdienst ins Visier genommen wird»

Herr Vogt, künstliche Intelligenz durchdringt die Gesellschaft. Schon Primarschüler suchen so nach Antworten auf ihre Fragen. Jetzt will der Schweizer Nachrichtendienst zur Erstellung von Gefährderprofilen ebenfalls KI einsetzen. Wo liegt das Problem?
Auch ein Geheimdienst soll mit künstlicher Intelligenz arbeiten dürfen. Das Problem ist nicht, wofür er KI einsetzt. Wenn er konkrete Hinweise auf eine Vorbereitungstat hat, kann er selbstverständlich mit Hilfe von KI ausleuchten, ob es weitere Hinweise auf strafbare Handlungsabsichten gibt.

Wann wird es problematisch?
Wenn die KI bestimmt, wer überhaupt ins Visier genommen wird. Wenn allein aufgrund der Auswertung gigantischer Datenmengen Schlussfolgerungen zu künftigen Tätern gezogen werden. Genau das will der Nachrichtendienst aber einführen. Und der Nationalrat hat ihn dazu legitimiert.

Wieso ist das eine Gefahr für normale Bürger?
Die KI generiert ihren Verdacht zum Beispiel aufgrund der Nutzung bestimmter Apps und Plattformen. Oder weil man sich oft in einem Quartier bewegt, wo öfter Straftaten begangen werden. Kurz: Die KI verwechselt Korrelationen mit Kausalitäten. Nicht weil man etwas Problematisches getan hat, wird man verdächtigt, sondern weil man sich in einem bestimmten Umfeld bewegt hat oder Dienstleistungen nutzt, die in der Vergangenheit auch Täter genutzt haben.

Gewisse Taten könnten so vielleicht verhindert werden.
Vielleicht. Gleichzeitig geraten viele Bürger zu Unrecht in Verdacht. Wollen wir das? Und wie erfahren sie das überhaupt? Wie können sie einen unbegründeten Verdacht ausräumen? Das alles ist im geplanten Gesetz absolut ungenügend geregelt. Es kursieren aber auch irrige Vorstellungen, wie KI-Profiling Taten verhindern könnte.

Welche Vorstellungen zum Beispiel?
Nehmen wir den aktuellen Fall des Messerstechers in Winterthur. Seine problematische Vergangenheit in islamistischen Kreisen und seine aktuellen psychischen Probleme waren bekannt, völlig losgelöst von einem KI-Einsatz. Der hätte hier nicht geholfen. Es mangelte viel eher an menschlichen Ressourcen, um die Person vertieft zu betreuen. Vor allem, als sie kurz vor der Tat in einer psychiatrischen Klinik war. Hinzu kommt wohl ein mangelhafter Austausch von Informationen zwischen den Behörden.

KI generiert ihre Erkenntnisse immer aus Daten, die in der Vergangenheit erstellt worden sind. Entstehen so auch falsche Bedrohungsbilder?
Das ist eines der Hauptprobleme. Vorurteile werden so immer wieder reproduziert und sogar verstärkt. Aus dem Umstand, dass sich jemand zum Beispiel am Wochenende oft im Zürcher Kreis 4 bewegt, wo es regelmässig zu Ausschreitungen bei Demonstrationen kommt, könnte eine KI falsche Kausalitäten ableiten. Auch Eigenschaften wie das Geschlecht oder mögliche Migrationshintergründe werden als Verdachtsmomente in die Gegenwart übernommen. Diskriminierungen werden so weiter gefördert.

Kann man falsche Verdächtigungen durch einen stärker regulierten Einsatz von KI verhindern?
Man kann sie sicher reduzieren. Die Fragen, welche Daten aus welchen Ländern mit welchen Systemen überhaupt verarbeitet werden dürfen und wie Ergebnisse kontrolliert werden, sollten aber debattiert werden, bevor man ein Gesetz dazu verabschiedet.

Der Nationalrat hat den Gesetzesentwurf Anfang Juni durchgewinkt. Kritik kam fast nur von linken und grünen Parlamentariern. Warum?
Eine gute Frage. Es müsste ja ein Anliegen auch von liberalen und bürgerlichen Politikern sein, den Staat hier in sinnvolle Schranken zu weisen. Vor allem, weil es auch um den Einfluss von Softwareanbietern aus dem Ausland geht.

Mit der Fichenaffäre in den Achtzigerjahren musste die Schweiz schon einmal einen Überwachungsskandal aufarbeiten. Damals waren es Menschen, die Daten über angebliche Staatsgefährder sammelten und auswerteten. Jetzt soll künstliche Intelligenz das tun. Droht ein Fichenskandal 2.0?
Auf jeden Fall, wenn jetzt nicht sinnvolle Grenzen gesetzt werden. Und das Ausmass könnte weitaus bedrohlicher werden. Bei den heute eingesetzten KI-Lösungen, die oft aus den USA stammen, bleibt ja meist unklar, aufgrund welcher Berechnungen sie überhaupt ihre Schlüsse ziehen. Und oft wissen das nicht einmal die Hersteller der Produkte.

Was empfehlen Sie?
Der Ständerat kann jetzt noch korrigierend eingreifen. Wichtiger, als mit undurchsichtigen KI-Lösungen Profile zu erstellen, sollte sowieso die Arbeit gut qualifizierter Mitarbeiter bleiben. Ganz klassisch: Hinweise ernst nehmen und überprüfen, ob sich Verdachtsmomente erhärten lassen. Dafür kann dann auch KI eingesetzt werden.