Machen meine KI-Agenten Fehler? Teils, teils

Die Frage kommt fast immer in der Pause, nie im Seminarraum.

Im Raum fragen die Leute nach Werkzeugen. Welches Programm, welche Version, was kostet das. In der Pause, mit einem Becher in der Hand, fragen sie nach etwas anderem.

An diesem Tag fragte jemand:

„Ihre KI-Agenten, die für Sie arbeiten. Machen die Fehler?"

Machen meine KI-Agenten Fehler?

„Ja", sagte ich. „Teils, teils."

Es gibt zwei Sorten von Fehlern, und nur eine davon gehört den Agenten. Die erste entsteht, weil dem Agenten Zusammenhang fehlt, den ein Mensch im Haus automatisch hätte. Die zweite entsteht, weil meine Anweisung nicht das gesagt hat, was ich meinte. Die erste Sorte fällt sofort auf. Die zweite sieht aus wie Erfolg.

Welche Fehler machen die Agenten selbst?

Ein Agent weiß nur, was in seinem Blickfeld liegt.

Er sieht die Datei, die ich ihm gebe. Er sieht nicht das Gespräch, das ich gestern geführt habe, oder den Grund, warum eine Sache so und nicht anders geregelt ist. Ihm fehlt der Zusammenhang, den ein Kollege nach zwei Jahren im Haus automatisch hat. Wie weit das geht, habe ich beschrieben, als meine Agenten kein Gedächtnis hatten.

Diese Fehler sind unangenehm, aber sie sind erkennbar. Etwas kommt zurück, das nicht passt, und ich merke es sofort. Ich gebe den fehlenden Zusammenhang dazu, und beim zweiten Versuch stimmt es.

Und welche Fehler gehören mir?

Die andere Sorte sieht nicht aus wie ein Fehler. Sie sieht aus wie Erfolg.

Vor Kurzem wollte ich, dass ein bestimmtes Seminar auf meiner Startseite auftaucht. Ich habe es meinem Website-Agenten gesagt, und er hat es gemacht. Er hat mir dazu geschrieben, wie er es gemacht hat.

Eine halbe Stunde später fehlte ein anderes Seminar auf der Seite. Mein Kurs bei tecTrain im Oktober, ein voller Tag in Wien. Niemand hatte ihn gelöscht. Er stand noch in der Liste, an der richtigen Stelle, mit Datum, Ort und Anmeldelink.

Er war nur nicht mehr zu sehen.

Mein Wunsch hatte eine Nebenwirkung, an die ich nicht gedacht hatte. Der Agent hat sie nicht verursacht. Er hat sie ausgeführt, sauber und schnell und ohne einen Moment des Zögerns.

Ein Auftrag an eine Maschine ist kein Befehl mit genau einer Bedeutung. Er ist eher ein Lasso: er fängt alles ein, was in seiner Reichweite liegt, auch das, woran ich nicht gedacht habe.

Warum ist die zweite Sorte die teurere?

Die erste Sorte meldet sich von selbst. Etwas sieht falsch aus, also schaue ich hin.

Die zweite Sorte meldet sich nie. Alles sieht richtig aus, weil alles richtig ausgeführt wurde. Der einzige Weg, sie zu bemerken, ist nachzusehen an einer Stelle, an der man keinen Grund hat nachzusehen.

Ein Kollege, der meinen Auftrag umsetzt, ist an dieser Stelle eine Sicherung. Nicht weil er klüger ist, sondern weil er im selben Raum sitzt und dieselbe Liste vor sich hat. Er sagt: „Moment, dann fällt der Oktober-Termin raus, ist das gewollt?"

Diesen Satz hört man nicht mehr, sobald die Ausführung sauber läuft.

Wie ich den Fehler behoben habe

Ich habe ihn nicht einfach wieder eingetragen. Das hätte einen Tag lang gut ausgesehen und die Ursache stehen gelassen.

Stattdessen habe ich die Stelle abgeschafft, an der ich überhaupt auswählen konnte. Heute entscheidet das Datum, welche Termine vorne stehen, und sonst niemand. Das ist weniger flexibel. Es ist auch weniger falsch.

Die Frage, die ich seitdem zurückgebe

Wenn mich heute jemand in der Pause fragt, ob meine Agenten Fehler machen, sage ich immer noch: teils, teils.

Und dann frage ich zurück.

Nicht: vertrauen Sie der Maschine. Sondern: wann haben Sie zuletzt geprüft, ob das, was Sie ihr sagen, auch das ist, was Sie meinen?

Denn sie wird es nicht für Sie prüfen. Sie wird es tun.

Häufige Fragen

Machen KI-Agenten Fehler? Ja, aber nicht nur ihre eigenen. Ein Teil der Fehler entsteht beim Agenten, weil ihm Zusammenhang fehlt, den ein Mensch im Unternehmen automatisch mitbringt. Der andere Teil entsteht beim Auftraggeber, weil die Anweisung etwas anderes sagt als das, was gemeint war.

Woran erkenne ich die eine Sorte von der anderen? Fehler des Agenten sehen falsch aus: es kommt etwas zurück, das nicht passt. Fehler der Anweisung sehen richtig aus, weil sie korrekt ausgeführt wurden. Sie fallen erst auf, wenn jemand an einer Stelle nachsieht, an der er keinen Grund zum Nachsehen hat.

Was hilft gegen die zweite Sorte? Die Stelle abschaffen, an der von Hand ausgewählt wird. Solange eine Ausnahme möglich ist, wird sie irgendwann gebaut und danach vergessen. Eine feste Regel ist weniger flexibel und weniger falsch.

Ersetzt ein KI-Agent damit einen Mitarbeiter? In der Ausführung oft ja. In der Rückfrage nicht. Ein Kollege, der einen Auftrag umsetzt, sagt „Moment, dann fällt das andere raus, ist das gewollt?" Diese Rückfrage ist eine Sicherung, und sie fehlt, sobald die Ausführung sauber läuft.