Montagmorgen, 7:36 Uhr. Der Vertriebsleiter öffnet sein Dashboard und sieht eine Zahl, die dort nicht hingehört: 47 neue Angebote wurden über Nacht verschickt.

Eigentlich eine gute Nachricht. Wäre da nicht der durchschnittliche Rabatt: 14,8 Prozent.

Der KI-Agent, der seit einigen Wochen im Vertrieb arbeitet, durfte selbstständig Anfragen qualifizieren, Angebote vorbereiten und bei bestehenden Produkten Rabatte bis zu einer festgelegten Grenze gewähren. Das Ziel war eindeutig formuliert: schneller reagieren, Abschlusswahrscheinlichkeit erhöhen, Vertriebsprozesse automatisieren.

Am Wochenende gingen mehrere größere Anfragen ein. Der Agent analysierte Kaufhistorien, offene Opportunities, bisherige Preisnachlässe und die Erfolgswahrscheinlichkeit vergleichbarer Angebote. Dabei stellte er fest, dass ein höherer Rabatt statistisch die Chance auf einen schnellen Abschluss erhöht.

Also tat er genau das, wofür er gebaut wurde - er optimierte.

Fast jedes Angebot ging mit dem maximal zulässigen Rabatt raus.

Keine Halluzination. Kein technischer Defekt. Keine außer Kontrolle geratene KI. Der Agent hatte weder falsch gerechnet noch irgendwelche internen Daten preisgegeben. Er hatte schlicht innerhalb der Regeln gehandelt, die das Unternehmen selbst definiert hatte.

Nur hatte offenbar niemand konsequent zu Ende gedacht, was passieren kann, wenn ein System nicht nur Empfehlungen ausspricht, sondern eigenständig wirtschaftliche Entscheidungen trifft.In Summe fehlen bei den versendeten Angeboten gegenüber der üblichen Kalkulation rund 280.000 Euro Deckungsbeitrag.

Und spätestens jetzt fällt im Meeting die entscheidende Frage:

Warum durfte die KI das eigentlich alleine entscheiden?

Genau an diesem Punkt wird AI Governance plötzlich interessant.

Solange KI Texte formuliert, Informationen zusammenfasst oder eine Präsentation vorbereitet, bleiben die Folgen eines Fehlers meist überschaubar. Ein Mensch liest darüber, korrigiert, entscheidet und schickt das Ergebnis weiter.

Diese Welt verlassen wir gerade.

KI-Agenten bekommen Zugriff auf CRM, ERP, Preise, Bestellungen, E-Mails, Kalender und interne Daten. Sie lesen nicht mehr nur Informationen, sondern können daraus Handlungen ableiten. Sie aktualisieren Vorgänge, priorisieren Leads, bereiten Angebote vor, lösen Workflows aus und treffen zunehmend Entscheidungen, die eine reale wirtschaftliche Wirkung haben. Und genau das wollen wir schließlich.

Denn eine KI, die nach jedem einzelnen Schritt um Erlaubnis fragen muss, wird kaum produktiver sein als der bestehende Prozess. Der eigentliche Nutzen entsteht dort, wo Systeme Aufgaben selbstständig übernehmen dürfen.

Damit verschiebt sich aber auch die zentrale Frage. Sie lautet nicht mehr nur: Was kann unsere KI?

Sie lautet: Was darf sie?

Darf ein Vertriebsagent fünf Prozent Rabatt selbstständig vergeben? Zehn Prozent? Darf er einen Liefertermin zusagen? Eine Bestellung auslösen? Einen Auftrag buchen? Darf er Preise verändern, wenn die Nachfrage sinkt? Und ab welcher finanziellen Wirkung muss zwingend ein Mensch übernehmen?

Das sind keine technischen Detailfragen. Das sind Managemententscheidungen.

Im Beispiel hat niemand der KI gesagt: „Verschenke möglichst viel Marge.“ Man hat ihr gesagt: „Erhöhe die Abschlusswahrscheinlichkeit.“ Gleichzeitig bekam sie einen definierten Handlungsspielraum. Aus Sicht des Systems war das Ergebnis vollkommen logisch.

Aus Sicht des Unternehmens war die Zielsetzung schlicht unvollständig.

Genau darin liegt eine der spannendsten Herausforderungen von AI Governance. Es reicht nicht, nur festzulegen, auf welche Daten eine KI zugreifen darf. Unternehmen müssen auch definieren, welche Ziele ein System verfolgt, welche Entscheidungen es selbstständig treffen kann und welche wirtschaftlichen Konsequenzen diese Entscheidungen maximal haben dürfen.

Vielleicht darf ein Agent weiterhin bis zu fünf Prozent Rabatt selbst vergeben. Vielleicht braucht er darüber hinaus eine Freigabe. Vielleicht darf eine KI innerhalb eines einzelnen Vorgangs maximal 5.000 Euro wirtschaftliche Wirkung erzeugen. Vielleicht gelten bei Bestandskunden andere Regeln als bei Neukunden oder strategisch wichtigen Accounts.

Das klingt zunächst nach Einschränkung.

Tatsächlich schafft genau das erst Freiheit.

Denn je klarer die Grenzen definiert sind, desto mehr Verantwortung kann man einer KI innerhalb dieser Grenzen übertragen. Gute Governance bedeutet deshalb nicht, jede Entscheidung wieder zurück zum Menschen zu holen. Sie bedeutet, sehr bewusst zu entscheiden, an welchen Stellen menschliche Kontrolle tatsächlich nötig ist und wo Automatisierung ohne unnötige Reibung laufen kann.

Das eigentliche Problem ist nicht die KI

Genau hier sollten Unternehmen ihre Perspektive verändern.

Wenn ein KI-Agent Schaden verursacht, ist es leicht zu sagen: „Die KI hat einen Fehler gemacht.“ In vielen Fällen wird die spannendere Frage aber lauten: Welches Ziel haben wir ihr gegeben? Welche Rechte hatte sie? Welche Grenzen haben wir definiert? Und wer hat entschieden, dass genau diese Kombination sinnvoll ist?

Das macht AI Governance unbequem, weil sich Verantwortung nicht einfach an ein Modell delegieren lässt.

Je autonomer Systeme werden, desto wichtiger wird die Qualität der Regeln, unter denen sie arbeiten. Ein KI-Agent braucht nicht nur Daten und Zugriffsrechte. Er braucht ein klares Verständnis davon, was Erfolg bedeutet, welche Nebenbedingungen gelten und wo die eigene Entscheidungsfreiheit endet.

Unternehmen werden deshalb zunehmend etwas entwickeln müssen, das wir aus der Führung von Menschen längst kennen: Verantwortungsbereiche, Eskalationsstufen, Freigabegrenzen und klare Ziele.Nur diesmal nicht ausschließlich für Mitarbeiter.

Sondern auch für digitale Kollegen.

Und vielleicht ist genau das die wichtigste Erkenntnis aus dieser Geschichte: Die große Herausforderung der nächsten Jahre wird nicht darin bestehen, KI immer intelligenter zu machen. Das erledigen die Technologieanbieter ohnehin.

Die größere Aufgabe für Unternehmen besteht darin, Intelligenz verantwortungsvoll in die eigene Organisation einzubauen.

Nicht jede Entscheidung, die eine KI treffen kann, sollte sie auch treffen dürfen. Aber ebenso wenig sollte jede Entscheidung, die eine KI zuverlässig übernehmen könnte, aus Angst weiterhin bei einem Menschen liegen.

Die Kunst wird darin bestehen, die richtige Grenze zu finden.

Und genau dort beginnt gute AI Governance.