Digitale Arbeitswelt: Sicherheitskultur für Mensch und Maschine
Peter Steinberger, der Erfinder des autonomen KI-Agenten OpenClaw, berichtet in einem TED-Talk über einen Vorfall, der ihn während der Entwicklungsarbeiten überraschte. OpenClaw ist als KI-Agent darauf ausgelegt, komplexe Aufgaben für den Benutzer eigenständig auf dessen Gerät auszuführen. Der Agent wird über Nachrichten gesteuert und kann unter anderem auf weitere Agenten zugreifen, die beispielsweise Software entwickeln. Der Erfinder war von seiner eigenen Entwicklung insofern überrascht, als diese sich die Verarbeitung von Sprachnachrichten selbst beibrachte.
von Dr. Martin J. Krämer
Wenn KI-Agenten und Menschen zusammenarbeiten führt das zu einer Neubewertung der Sicherheitskultur, die zumeist nur auf Menschen ausgelegt ist. KI-Agenten, die eigenständig Entscheidungen treffen, ohne Rücksprache mit Menschen zu halten, sind ein Sicherheitsrisiko, das kein Unternehmen unterschätzen sollte. Eng verbunden mit der Unternehmenskultur erfordert die digitale Arbeitswelt eine Neubewertung dessen, wie die Vermittlung eines geschärften Sicherheitsbewusstseins aufgestellt werden muss.
Zugleich verschärft sich die Bedrohungslage: Nicht mehr nur Menschen können auf einen falschen Link klicken, sondern auch KI-Agenten, die in ihrem Namen im Netz agieren. Zudem kann ein solcher Agent manipuliert werden, wenn er über Schnittstellen mit anderen Agenten oder IT-Systemen interagiert. Dies führt zu der Schlussfolgerung, dass die Herausforderung zur Etablierung einer resilienten Sicherheitskultur vielleicht noch nie so groß wie heute war.
Sicherheitskultur ist vom menschlichen Verhalten geprägt
Verhalten in diesem Kontext entsteht ausschließlich durch Personen, die motiviert und befähigt sind, angemessen angesprochen werden und innerhalb eines institutionellen Rahmens handlungsfähig sind. Ihr Verhalten ist für andere sichtbar und lässt sich über Normen weitergeben. Menschliche Handlungen sind normativ behaftet und werden als erwartet anerkannt, gelobt oder korrigiert. Da Menschen bewusst Verantwortung übernehmen, können positive oder negative Konsequenzen ihr zukünftiges Verhalten beeinflussen.
Agentic AI ist gänzlich anders aufgestellt und verhält sich entsprechend:
Beide Handlungsebenen, die der Agentic AI und die des Menschen, wirken in der Arbeitswelt 5.0 nebeneinander, auch wenn sie nicht auf dieselbe Weise funktionieren. Menschen agieren wie sie konditioniert wurden und die Schleifen aus Beobachtbarkeit, Normativität und Verantwortlichkeit tragen weiterhin das Fundament der Sicherheitskultur. Auf der Seite des Agenten funktionieren dieselben Mechanismen nicht. Arbeitsprozesse, die zuvor durchgeführt wurden, müssen nun neu verteilt werden. Die Sicherheitskultur wird zum Teil von der Technologie aufgenommen, zum Teil für die verbleibende menschliche Belegschaft intensiviert. Dort wird sie zum Teil neu gedacht, wenn kein bestehender Mechanismus greift.
Fallbeispiel zur Illustration
Die zwei folgenden Beispiele veranschaulichen, was passiert, wenn die richtigen Mechanismen fehlen, wie sie in menschlicher Form aussehen und wie sie rekonstruiert werden können.
1. Die 00-Sektion des britischen Geheimdienstes, wie sie Ian Fleming beschrieben hat, zeigt hohe Handlungsfähigkeit bei minimaler Beobachtbarkeit. James Bond agiert zumeist alleine und oftmals unabhängig. Beobachtbarkeit und Verantwortlichkeit sind bewusst spärlich gehalten, doch Normativität ist durch Bonds institutionelle Identität von zentraler Bedeutung. Agentic AI hat keine vergleichbare Identität, an die sich soziale Normen anheften könnten.
2. Eine Verkehrspilotin oder ein Verkehrspilot fliegt Tausende von Routineflügen. Meist passiert nichts Außergewöhnliches, und die Pilotin oder der Pilot gilt als kompetent und vertrauenswürdig. Dennoch werden alle Flüge vom Flugdatenschreiber und vom Stimmenrekorder im Cockpit aufgezeichnet, da in großer Höhe, mit hoher Geschwindigkeit und außerhalb der Sicht anderer geflogen wird. Beobachtbarkeit wird durch die Rekorder ermöglicht, Normativität ergibt sich aus umfangreicher Ausbildung und standardisierten Verfahren. Verantwortlichkeit ergibt sich aus der Pilotenlizenz und der Qualitätssicherung der Fluggesellschaft. Routinemäßige Aktivität der Agentic AI ist demselben Ansatz zugänglich: Beobachtbarkeit durch unveränderliche Logs, Normativität durch strukturelle Beschränkung, Verantwortlichkeit über die Menschen, die die Agenten kontrollieren.
Fazit
Menschen treffen Ermessensentscheidungen und wägen ab, Agenten führen Aufgaben einfach aus. Die Angestellten konnten Entscheidungen kritisieren, sofern sie diese für falsch hielten. Deshalb müssen Organisationen, die ihre KI-Transformation vorantreiben, Beobachtbarkeit, Verantwortlichkeit und Normativität im Zusammenspiel von Menschen und KI-Agenten neu gestalten. Technologische Maßnahmen für KI-Agenten und Investitionen in Aus- und Weiterbildung der Belegschaft müssen ineinandergreifen. Mitarbeitende müssen über das nötige Urteilsvermögen verfügen, und KI-Agenten müssen in kritischen Situationen zuverlässig begrenzt, überwacht und gegebenenfalls gestoppt werden können.
Dort, wo Menschen die Ergebnisse von Agenten verarbeiten, besteht die Gefahr, die Governance beider Seiten zu verlieren. Dabei sind grundlegende Fragen essenziell: Können Mitarbeitende die Risiken von KI-Agenten erkennen? Wer ist für das Risiko verantwortlich? Können Mitarbeitende gefährliche Interaktionen rechtzeitig unterbrechen? Genau hier müssen Unternehmen ansetzen.