KI-Nutzung messen: Vom einzelnen Tool zum Prozess

Wenn Mitarbeitende ein KI-Werkzeug nutzen, ist das zunächst ein Hinweis auf Nutzung. Ob sich dadurch ein Arbeitsergebnis oder ein Geschäftsprozess verbessert, ist eine weitere Frage. Dafür braucht es eine passende Ausgangslage, klar benannte Ziele und eine Prüfung im jeweiligen Arbeitskontext.

Nutzung, Ergebnis und Prozesswirkung unterscheiden

Für eine sachliche Bewertung hilft es, drei Ebenen auseinanderzuhalten:

• Nutzung: Wird das Werkzeug verwendet, für welche Aufgaben und unter welchen Bedingungen?
• Aufgabenergebnis: Verändert sich etwa Qualität, Bearbeitungszeit oder Nacharbeitsbedarf einer konkreten Aufgabe?
• Prozesswirkung: Verändert sich das Ergebnis eines Ablaufs über mehrere Rollen oder Arbeitsschritte hinweg?

Ein Nutzungsbericht beantwortet nicht automatisch Fragen zur Qualität oder zum Ergebnis. Ebenso lässt sich eine Veränderung in einem Prozess nicht ohne Weiteres allein dem KI-Werkzeug zuschreiben. Das freiwillige NIST AI Risk Management Framework empfiehlt, erwartete Nutzung und Kontext zu beschreiben, Auswirkungen zu betrachten und geeignete Messansätze zu wählen. Es schreibt keine einzelne Kennzahl für Unternehmen vor.

Vom Werkzeug zur Arbeitsaufgabe

Beginnen Sie mit einer konkreten Aufgabe statt mit einer allgemeinen Frage wie „Macht KI uns produktiver?“. Beschreiben Sie, wer die Aufgabe bearbeitet, welche Informationen verfügbar sind, welches Ergebnis erwartet wird und welche Prüfschritte dazugehören. Notieren Sie außerdem relevante Randbedingungen wie eingesetzte Software, Fallkomplexität und beteiligte Rollen.

Eine Aufgabe kann Teil eines größeren Ablaufs sein: Ein Entwurf wird erstellt, geprüft, überarbeitet und freigegeben. Wenn KI einen Schritt verändert, können sich auch nachfolgende Tätigkeiten verschieben. Prüfen Sie deshalb, ob die gewählte Messung den gesamten betrachteten Ablauf erfasst oder nur einen einzelnen Arbeitsschritt.

Eine belastbare Prüfung vorbereiten

Vor einem Pilot oder einer breiteren Einführung sollte das Team festlegen:

1. Ziel: Welche konkrete Veränderung soll untersucht werden?
2. Ausgangslage: Wie wird die Aufgabe ohne die neue Nutzung bearbeitet?
3. Messgrößen: Welche Ergebnis- und Qualitätsmerkmale sind relevant?
4. Prüfaufwand: Wie viel Zeit und Nacharbeit entstehen durch Kontrolle und Korrektur?
5. Verantwortung: Wer beurteilt Ergebnisse, dokumentiert Abweichungen und entscheidet über die nächsten Schritte?

Je nach Aufgabe können Bearbeitungsdauer, Fehlerarten, Vollständigkeit, Rückfragen oder Nacharbeit relevant sein. Wählen Sie nur Maße, die zum Zweck und Risiko passen. Dokumentieren Sie auch Grenzen der Messung und Fälle, die nicht vergleichbar sind. Das NIST AI RMF betont, dass Messmethoden zum Einsatzkontext gehören und Unsicherheiten beziehungsweise nicht messbare Aspekte festgehalten werden sollten.

Bei Systemen im laufenden Betrieb endet die Prüfung nicht mit einem erfolgreichen Test. Der NIST-Bericht zu Herausforderungen bei der Überwachung eingesetzter KI-Systeme beschreibt Monitoring als noch in Entwicklung befindliches Feld und ordnet offene Fragen sowie praktische Hürden ein. Daraus lässt sich keine allgemeingültige Überwachungsfrequenz ableiten. Umfang und Zuständigkeiten müssen zum System und Verwendungszweck passen.

Veränderungen vorsichtig zuordnen

Ein Vorher-Nachher-Vergleich kann erste Hinweise geben, beweist aber nicht allein, dass KI eine beobachtete Veränderung verursacht hat. Gleichzeitig können sich etwa Fallmix, Personal, Arbeitslast, Vorlagen oder andere Systeme ändern. Halten Sie solche Einflussfaktoren fest und ziehen Sie, soweit praktikabel, vergleichbare Fälle oder Arbeitsschritte heran.

Auch ein positives Einzelergebnis ist nicht automatisch auf andere Teams übertragbar. Andere Daten, Regeln, Nutzergruppen und Qualitätsanforderungen können zu anderen Ergebnissen führen. Behandeln Sie Schlussfolgerungen daher als kontextgebunden und überprüfen Sie sie, wenn sich Aufgabe, System oder Rahmenbedingungen ändern.

Wann Prozessintegration eine Rolle spielt

Eine einzelne Person kann ein Werkzeug für eine klar abgegrenzte Aufgabe verwenden, ohne den gesamten Prozess neu zu gestalten. Prozessfragen werden wichtiger, wenn Ausgaben weitergereicht werden, mehrere Rollen oder Systeme beteiligt sind oder Verantwortlichkeiten und Freigaben betroffen sind.

Dann sollte das Team den Ablauf mit Übergaben, Ausnahmen und Prüfschritten betrachten. Klären Sie, wer für Ergebnisqualität und Entscheidungen zuständig ist, wie Fehler gemeldet werden und wann ein Vorgang an eine Person übergeben werden muss. Das NIST AI RMF bietet dafür freiwillige Orientierung zu Kontext, Risiken, Messung und fortlaufendem Management; es ersetzt weder eine betriebliche Prozessentscheidung noch eine rechtliche Prüfung.

Der Beitrag KI-Key-User im Unternehmen behandelt eine mögliche interne Unterstützungsrolle. Für die Auswahl und Einordnung konkreter Einsatzfälle ist außerdem KI-Anwendungsfälle in Geschäftsprozessen erkennen relevant.

Fazit

Nutzungszahlen, Aufgabenergebnisse und Prozesswirkungen beantworten unterschiedliche Fragen. Unternehmen können KI-Einsätze nachvollziehbarer bewerten, wenn sie Ziel, Ausgangslage, passende Qualitätsmerkmale, Prüfaufwand und Zuständigkeiten vorab festlegen. Ein Ergebnis bleibt an den untersuchten Kontext gebunden; es sollte nicht ohne weitere Prüfung als allgemeiner Produktivitäts- oder Wirtschaftlichkeitsnachweis verwendet werden.

Der Workshop „Von KI-Nutzung zu KI-Wirkung“ behandelt laut Beschreibung den Perspektivwechsel von einzelnen Anwendungen zu Geschäftsprozessen sowie Fragen zu Qualität, Verantwortung und Einordnung. Er dient der Orientierung und ersetzt keine projektspezifische Wirkungsanalyse.