Von Ioannis Asaridis, Forvis Mazars in der Schweiz
Doch was passiert, wenn genau dieser Mensch getäuscht, blockiert oder beeinflusst wird?
Stellen wir uns vor: Eine KI trifft eine problematische Entscheidung. Die verantwortliche Person soll sie überprüfen. Auf ihrem Bildschirm sieht aber alles korrekt aus, weil die angezeigten Informationen manipuliert wurden. Sie gibt grünes Licht, obwohl sie eigentlich hätte eingreifen müssen.
Genau solche Situationen haben deutsche Forschende untersucht*. Sie zeigen: Es reicht nicht, einen Menschen als Kontrollinstanz für ein KI-System vorzusehen. Die Kontrolle muss auch dann funktionieren, wenn etwas schiefläuft.
Vier Situationen, in denen menschliche Kontrolle versagen kann
1. Die Person bekommt falsche Informationen
Die KI trifft eine problematische Entscheidung. Die Person, die sie überwacht, sieht manipulierte Informationen. Für sie scheint alles normal zu sein. Sie hat zwar die Verantwortung, aber nicht die richtigen Informationen, um einen Fehler zu erkennen.
2. Eingreifen ist nicht mehr möglich
Der Fehler wird erkannt und die Person will die KI stoppen. Doch die Verbindung zum System ist unterbrochen. Sie sieht das Problem, kann aber nichts mehr dagegen tun.
3. Die Person wird unter Druck gesetzt
Eine Person soll eine riskante Entscheidung der KI verhindern. Doch die Person wird unter Druck gesetzt oder bedroht und gibt die Entscheidung trotzdem frei.
4. Persönliche Interessen stehen im Weg
Die verantwortliche Person kennt einen kritischen Fehler, verschweigt ihn aber bewusst, beispielsweise aufgrund von Bestechung.
In allen vier Fällen ist die menschliche Kontrolle zwar vorgesehen. Im entscheidenden Moment funktioniert sie aber nicht.
Ein Mensch im Prozess reicht nicht
Die entscheidende Frage lautet deshalb nicht nur: Gibt es eine Person, die die KI kontrolliert? Viel wichtiger ist: Kann diese Person ihre Aufgabe im entscheidenden Moment überhaupt erfüllen?
Dafür braucht sie die richtigen Informationen. Sie muss verstehen, worauf sie achten soll. Und vor allem muss sie die Möglichkeit haben, einzugreifen.
Ein Name im Organigramm allein sagt noch nichts darüber aus, ob die Kontrolle im Alltag funktioniert.
Auch Schweizer Unternehmen sollten hinschauen
Das Thema betrifft auch Unternehmen in der Schweiz. Der EU AI Act kann unter bestimmten Voraussetzungen auch für Schweizer Anbieter und Betreiber relevant sein, beispielsweise wenn sie ihre KI-Systeme auf dem EU-Markt anbieten oder deren Ergebnisse in der EU zum Einsatz kommen. Doch unabhängig von gesetzlichen Vorgaben stellt sich eine viel praktischere Frage: Funktioniert die menschliche Kontrolle wirklich, wenn es darauf ankommt?
Vier Fragen, die sich Unternehmen stellen sollten
Ein guter Ausgangspunkt ist ein Überblick darüber, wo KI im Unternehmen bereits wichtige Entscheidungen trifft oder vorbereitet. Genau dort lohnt es sich zu prüfen, ob die menschliche Kontrolle tatsächlich funktioniert.
Vier einfache Fragen helfen dabei:
- Bekommt die verantwortliche Person alle Informationen, die sie braucht?
- Kann sie erkennen, wenn die KI einen Fehler macht?
- Weiss sie, wann sie eingreifen muss?
- Kann sie das System im Ernstfall tatsächlich stoppen?
Diese Fragen gehören nicht nur in Richtlinien und Regelwerke. Unternehmen sollten konkrete Situationen durchspielen und testen, ob ihre Kontrollmechanismen auch in der Praxis funktionieren.
Denn am Ende gilt: Nur weil ein Mensch im Prozess steht, heisst das noch lange nicht, dass er ihn auch in der Hand hat.
*Quelle: «Secure Human Oversight of AI: Threat Modeling in a Socio-Technical Context» von Jonas C. Ditz, Veronika Lazar, Elmar Lichtmeß, Carola Plesch, Matthias Heck, Kevin Baum und Markus Langer, veröffentlicht im Juli 2026.
Wie sicher setzt Ihr Unternehmen KI ein? Mehr erfahren
Bei diesem Beitrag handelt es sich um Werbung.