KI-Wissensassistenten im Unternehmen: Einsatz, Grenzen und Voraussetzungen

Ein interner Wissensassistent kann Mitarbeitenden helfen, Informationen aus angebundenen Quellen in Frage-Antwort-Form zu erschließen. Ob das im konkreten Arbeitsablauf nützlich ist, hängt unter anderem von der Qualität und Zugänglichkeit der Quellen, den Berechtigungen und der Prüfbarkeit der Antworten ab. Ein Chatfenster allein macht verstreutes oder veraltetes Wissen nicht automatisch verlässlich.

Dieser Beitrag richtet sich an Verantwortliche, die einen Einsatzbereich auswählen und eine Einführung vorbereiten. Die technische Funktionsweise von Retrieval Augmented Generation (RAG) und typische Fehlerquellen erläutert der Beitrag RAG-Assistenten für Unternehmenswissen: Möglichkeiten und Grenzen.

Mit einer wiederkehrenden Frage beginnen

Beginnen Sie nicht mit der größtmöglichen Dokumentensammlung, sondern mit einer konkreten Frage aus einem Arbeitsablauf. Beispiele können sein: Wo steht eine bestimmte Prozessvorgabe? Welche freigegebene Anleitung gilt für einen klar beschriebenen Vorgang? Welche Unterlagen benötigt ein Team für einen wiederkehrenden Arbeitsschritt?

Beschreiben Sie, wer die Frage stellt, welche Quellen die Antwort tragen dürfen und was bei fehlenden oder widersprüchlichen Angaben geschehen soll. Prüfen Sie auch, ob eine verbesserte Suche, eine klarere Dokumentenstruktur oder eine zuständige Ansprechperson die Frage einfacher beantworten würde.

Ein Wissensassistent eignet sich nicht dazu, Wissen zu erschließen, das in den zugelassenen Quellen nicht vorhanden ist. Er ersetzt weder die Pflege fachlicher Inhalte noch Entscheidungen, die eine verantwortliche Person treffen muss.

Quellenbestand und Zuständigkeit klären

Vor einer technischen Anbindung sollten die vorgesehenen Inhalte geprüft werden. Sind sie aktuell, freigegeben und eindeutig einer verantwortlichen Stelle zugeordnet? Gibt es mehrere Versionen, widersprüchliche Aussagen oder Dokumente, die nicht für alle Nutzergruppen bestimmt sind? Unklare Ausgangsinhalte können die Antwortprüfung erschweren.

Klären Sie außerdem, welche Datenquellen die gewählte Plattform tatsächlich unterstützt und wie Inhalte übernommen werden. Konnektoren, Dateiformate, Synchronisierungsintervalle und Berechtigungsfunktionen unterscheiden sich je nach Produkt und Konfiguration. Beispielsweise beschreibt Microsoft für Azure AI Search mehrere Ansätze zur Durchsetzung von Dokumentberechtigungen; einige Funktionen sind als Vorschau gekennzeichnet. Das ist ein produktspezifisches Beispiel, keine Aussage über andere Plattformen. Microsoft Learn: Document-level access control in Azure AI Search

Benennen Sie Verantwortliche für Quellen und Berechtigungen. Dazu gehören Entscheidungen darüber, wer Inhalte freigibt, wie Aktualisierungen übernommen werden und wie entzogene Zugriffe im Assistenten wirksam werden. Testen Sie diese Abläufe mit den Nutzergruppen und Daten, für die der Assistent vorgesehen ist.

Antworten anhand konkreter Fragen prüfen

Legen Sie vor einem Test typische Fragen und passende Belege fest. Prüfen Sie für jede Frage:

• Findet die Suche die relevante und aktuelle Quelle?
• Stützt die angezeigte Passage die Antwort tatsächlich?
• Bleibt die Antwort innerhalb der freigegebenen Quellen?
• Erkennt das System fehlende, widersprüchliche oder veraltete Angaben?
• Erhalten unterschiedliche Nutzerinnen und Nutzer nur die für sie freigegebenen Inhalte?

Generative Systeme können falsche oder widersprüchliche Aussagen plausibel formulieren. NIST beschreibt dieses Risiko als „confabulation“ und empfiehlt, Risiken und Bewertungsmethoden im jeweiligen Kontext zu betrachten. Verweise auf Dokumente erleichtern eine Prüfung, sind aber kein Beleg dafür, dass jede Aussage daraus folgt. NIST, Generative Artificial Intelligence Profile

Dokumentieren Sie Testfragen, erwartete Quellen, Fehler und Einschränkungen. Trennen Sie dabei die Bewertung der Suche von der Bewertung der formulierten Antwort: Das System kann eine verständliche Antwort auf Grundlage unpassender Textstellen geben oder relevante Quellen finden, diese aber falsch zusammenfassen.

Zugriffe und Datenflüsse prüfen

Ein interner Wissensassistent kann je nach Architektur Inhalte aus Unternehmensablagen an Suchdienste, Modelle oder weitere Komponenten übermitteln. Prüfen Sie daher für die konkrete Lösung, welche Daten an welche Systeme gehen, wo sie verarbeitet und gespeichert werden und welche Protokolle entstehen. Beziehen Sie außerdem ein, ob personenbezogene oder vertrauliche Inhalte in den vorgesehenen Quellen liegen.

Die technische Berechtigungsprüfung muss zum gesamten Abrufweg passen: von der Quelle über Index oder Suchdienst bis zur Antwort. Verlassen Sie sich nicht darauf, dass Berechtigungen aus der ursprünglichen Ablage automatisch und vollständig übernommen werden. Testen Sie erlaubte und entzogene Zugriffe mit repräsentativen Nutzerkonten. Die erforderliche Datenschutz-, Sicherheits- und Mitbestimmungsprüfung hängt vom konkreten Einsatz, Datenfluss und Betrieb ab.

Einführung und laufender Betrieb

Vor einem breiteren Einsatz sollten Zielgruppe, unterstützte Fragen und Grenzen verständlich sein. Zeigen Sie den späteren Nutzenden, wie sie Quellen prüfen, unvollständige Antworten erkennen und Fehler melden. Legen Sie fest, wann sie eine fachlich zuständige Person einbeziehen müssen.

Für den laufenden Betrieb braucht es Verantwortliche, die Quellen aktualisieren, Rückmeldungen auswerten und Qualitätsprüfungen wiederholen. Prüfen Sie Änderungen an Inhalten, Modellen, Suchkonfiguration oder Berechtigungen erneut, wenn sie die Antworten beeinflussen können. Umfang und Rhythmus dieser Arbeit hängen von der jeweiligen Wissensbasis und Nutzung ab; pauschale Zeit- oder Qualitätszusagen lassen sich daraus nicht ableiten.

Nutzen und Aufwand getrennt bewerten

Ein möglicher Nutzen sollte anhand eines konkreten Ablaufs bewertet werden. Bestimmen Sie zunächst, welche Ausgangssituation Sie vergleichen und welche Beobachtung für Ihre Organisation relevant ist. Berücksichtigen Sie neben Such- oder Bearbeitungszeiten auch Korrekturen, Rückfragen, Prüfaufwand und Risiken. Ergebnisse eines begrenzten Tests gelten zunächst nur für die geprüften Fragen, Quellen, Nutzenden und Bedingungen.

Eine Beispielrechnung kann Annahmen sichtbar machen, belegt aber keine tatsächliche Einsparung: Wenn 100 Personen hypothetisch je 30 Minuten pro Woche weniger suchen würden, ergäbe das rechnerisch 50 Stunden. Ob diese Zeit tatsächlich frei wird, ob sie anderweitig genutzt werden kann und welche Kosten dem gegenüberstehen, müsste separat gemessen und bewertet werden. Eine solche Rechnung ist deshalb kein allgemeiner Business Case.

Nächste Schritte

Ein Wissensassistent ist eher prüfenswert, wenn es wiederkehrende, klar eingrenzbare Fragen gibt, die Antworten in zugänglichen und verantworteten Quellen stehen und Qualität sowie Zugriffe überprüfbar sind. Wenn diese Voraussetzungen fehlen, kann zunächst die Bereinigung der Quellen oder eine bessere Suche der passendere Schritt sein.

Die Leistung KI-gestützter Wissensassistent (intern) beschreibt Beratung, Coaching, Workshops und Unterstützung für Betrieb und Weiterentwicklung. Sie kann als nächster Schritt dienen, um Anwendungsfall, Quellen, Zielgruppen und offene Prüfungen zu besprechen. Für die methodische Einordnung von RAG samt Grenzen und Qualitätsprüfungen siehe auch RAG-Assistenten für Unternehmenswissen.