Im September habe ich meine eigenen KI-Anweisungen nachgezählt. Neun davon laufen in meinem Arbeitsalltag. Alle neun gab es doppelt: eine Fassung in meinem Wissensarchiv, eine zweite im KI-Werkzeug. Und alle neun Paare waren auseinandergelaufen, ohne dass ich es bemerkt hätte.
Kurz zur Einordnung, falls du mit dem Begriff nichts anfangen kannst. Die KI bekommt für jede wiederkehrende Aufgabe eine schriftliche Arbeitsanweisung. Wie ein Blogbeitrag entsteht, welche Wörter tabu sind. Fachleute nennen das Skills.
Die KI liest zuerst nur eine kurze Beschreibung jeder Anweisung. Danach entscheidet sie, welche sie für deine Aufgabe aufschlägt.
Genau dort entsteht ein Fehler, den niemand sieht. Greift die KI zur falschen Anweisung, liefert sie trotzdem ein Ergebnis. Es sieht fertig aus. Es ist nur nach den falschen Regeln entstanden.
Was eine echte Prüfung zeigt
Im August habe ich neun meiner Anweisungen testen lassen. Für jede gab es 6 Testanfragen: 3, bei denen sie greifen muss, und 3, bei denen sie sich raushalten muss.
Im ersten Durchlauf lag die KI 17 von 54 Mal daneben. Fast jedes dritte Mal. Gefühlt lief alles rund.
Nach drei Überarbeitungen waren es noch 11 Fehler, und das bei deutlich härteren Testfällen. Jede Runde hat einen Fehler behoben und den nächsten sichtbar gemacht, der eine Ebene tiefer lag.
Bei derselben Zählung fand ich die eine Anweisung, die nie getestet worden war. Eine andere Anweisung hatte ihr den Rückblick nach meiner Live-Sendung zugewiesen. Sie konnte das gar nicht. "Auf dem Papier" gab es für diese Aufgabe einen Zuständigen, in der Praxis keinen.
Nach der Korrektur: 0 Fehler in 6 Testanfragen. Mit Testfällen, die ich selbst geschrieben habe. Fremde Testfälle stehen noch aus, und die werden vermutlich wieder etwas finden.
Ich bin mit dem Befund nicht allein. Ein Anbieter von Entscheidungsmodellen hat das Problem öffentlich gemessen: Ein gängiges KI-Modell griff bei einer Auswahl aus 182 Anweisungen in 16,8 Prozent der Fälle zur falschen. Das sind Herstellerzahlen mit eher leichten Testfällen. Die Richtung deckt sich mit meiner Messung.
Was das wirtschaftlich bedeutet
Eine falsche Anweisung kostet Nacharbeit, die in keiner Zeiterfassung auftaucht. Eine einfache Beispielrechnung: 20 KI-Aufgaben am Tag, jede zehnte greift daneben, jede davon kostet 15 Minuten Korrektur. Das sind 30 Minuten täglich und rund 10 Stunden im Monat, pro Person.
Im Schadensfall fragt die Versicherung, was vorher geregelt war. Ein Anwalt für KI-Haftung hat es in meiner Live-Sendung im August so beschrieben: Geprüft wird rückwirkend, bis zur Anbahnung des Vertrags. Vorlegen kannst du dort nur, was dokumentiert ist, etwa ein datiertes Testprotokoll.
Wenn die Person das Unternehmen verlässt, die weiß, welche Fassung die richtige ist, geht dieses Wissen mit. Wer danach übernimmt, erbt zwei Fassungen und keine Antwort darauf, welche gilt.
Rechne deshalb mit dem Preis pro sauber erledigter Aufgabe, Nacharbeit eingeschlossen.
Warum das Stand der Technik sein müsste und trotzdem kaum jemand macht
Der erste Grund: Der Fehler ist still. Eine falsch gewählte Anweisung erzeugt keine Fehlermeldung. Sie erzeugt einen plausiblen Text, den jemand abnickt.
Der zweite Grund: Die Werkzeuge verteilen das Wissen. Jede Oberfläche führt ihre eigene Kopie. Niemand ändert bewusst zwei Stellen. Es ändert nur jemand eine und übersieht die andere.
Der dritte Grund: Die Prüfung kostet sofort, ihr Nutzen zeigt sich erst im Ernstfall. Deshalb wird sie verschoben, bis der Ernstfall da ist.
Der vierte Grund: Man hält es für eine Frage der Disziplin. Dirk Werth hat in seiner Kolumne herausgearbeitet, dass die Prüfquote eines Betriebs aus seinem Aufbau folgt. Wer schwache Prüfung mit Schulungen beantwortet, behandelt ein Bauproblem wie ein Charakterproblem.
Was du im Eigenbetrieb tun kannst
1. Zähl deine Anweisungen und ihre Fassungen. Eine Liste reicht: Name, Ablageort, letzte Änderung, wer sie pflegt.
2. Leg für jede Anweisung fest, welche Fassung gilt. Alle anderen sind Kopien und werden von dort aus aktualisiert, nie umgekehrt.
3. Schreib zu jeder Anweisung dazu, wofür sie nicht zuständig ist. In meiner Messreihe hat dieser eine Schritt die Fehler im ersten Anlauf von 17 auf 13 gedrückt.
4. Leg je Anweisung 6 Testanfragen an. 3 müssen greifen, 3 dürfen es nicht. Ergebnis mit Datum notieren.
5. Wiederhole den Test nach jeder Änderung, bevor die neue Fassung live geht.
6. Lass die Testfälle von jemand anderem schreiben. Wer die Anweisung verfasst hat, testet unbewusst genau das, was er schon bedacht hat.
Genau dafür ist KBS-BRAIN® gebaut: ein zweites Gehirn fürs Unternehmen, in dem jede Anweisung eine gültige Fassung und einen datierten Test hat, mit nachvollziehbarer Änderungsgeschichte. Für dein Team und für jeden, der im Ernstfall nachfragt.
Wie viele Fassungen deiner wichtigsten KI-Anweisung sind gerade im Umlauf?
Wenn du es nicht sofort weißt, zählen wir es in 30 Minuten gemeinsam nach, an deinem echten Bestand: KBS-BRAIN-Gespräch buchen.
Detlef M. Korus®