RAG-Assistenten für Unternehmenswissen: Möglichkeiten und Grenzen

Retrieval Augmented Generation (RAG) ergänzt eine generative KI-Anwendung um eine Suche in angebundenen Informationsquellen. Die gefundenen Inhalte werden dem Sprachmodell als Kontext für die Antwort bereitgestellt. So kann eine Anwendung internes Wissen berücksichtigen, das nicht Teil des ursprünglichen Modelltrainings war. RAG macht Antworten jedoch weder automatisch richtig noch aktuell oder für jede Person zugänglich.

Wie RAG grundsätzlich funktioniert

Ein typischer Ablauf besteht aus drei Schritten:

1. Abrufen: Die Anwendung sucht zu einer Frage passende Inhalte in einer Wissensquelle oder einem Suchindex.
2. Ergänzen: Sie kombiniert die Frage mit den abgerufenen Textpassagen und übergibt diese an das Sprachmodell.
3. Generieren: Das Sprachmodell formuliert auf Basis der Eingabe eine Antwort. Die Anwendung kann zusätzlich Hinweise auf verwendete Dokumente anzeigen.

Die konkrete Suche kann beispielsweise Stichwörter, semantische Suche oder eine Kombination aus Suchverfahren verwenden. Welche Methode geeignet ist, hängt unter anderem von den Fragen, Dokumenten und Anforderungen an die Treffer ab. Microsoft Learn beschreibt den RAG-Ablauf und unterschiedliche Sucharten; die ursprüngliche RAG-Forschung beschreibt ebenfalls das Zusammenspiel aus abgerufenen Passagen und einem Sprachmodell, allerdings für eine konkrete Modellarchitektur und Testaufgaben. Lewis et al. (2020)

Was sich gegenüber einer Modellerweiterung ändert

Bei RAG wird Wissen zur Anfrage aus externen Quellen abgerufen und als Kontext übergeben. Das Modell selbst wird dadurch nicht automatisch mit den Dokumenten neu trainiert. Microsoft unterscheidet RAG für Antworten auf Basis privater oder veränderlicher Daten von Fine-Tuning, das unter anderem Modellverhalten oder Aufgabenleistung verändern soll. Welche Option passt, muss anhand des Einsatzzwecks geprüft werden. Microsoft Learn: RAG und Indizes

Eine Änderung am Quelldokument wirkt sich außerdem erst dann auf Antworten aus, wenn die Anwendung die Änderung erfasst und im Abruf verfügbar macht. Dafür braucht es einen definierten Prozess für Synchronisierung, Indexierung, Versionierung und den Umgang mit widersprüchlichen Inhalten.

Qualität hängt von Suche, Quellen und Antwort ab

Ein RAG-System umfasst mehrere Stellen, an denen Fehler entstehen können: relevante Inhalte fehlen in der Wissensbasis, die Suche findet unpassende Passagen, ein Dokument ist veraltet oder das Sprachmodell interpretiert den bereitgestellten Kontext falsch. Microsoft weist darauf hin, dass unvollständige oder irrelevante Treffer trotz Kontext zu unvollständigen oder falschen Antworten führen können.

Quellenhinweise helfen, eine Antwort zu kontrollieren, sofern die Anwendung passende Verweise aus dem Abruf korrekt anzeigt. Sie sind kein Beweis dafür, dass jede Aussage durch die Quelle gedeckt ist. NIST beschreibt, dass generative KI auch plausibel formulierte falsche Inhalte und sogar erfundene Quellenangaben ausgeben kann. Prüfen Sie wichtige Aussagen deshalb am Originaldokument und stellen Sie fest, ob die konkrete Passage die Antwort wirklich trägt. NIST, Generative AI Profile

Datenzugriff und Sicherheit einplanen

Wenn interne Inhalte eingebunden werden, muss die Anwendung Berechtigungen entlang des Abrufs durchsetzen. Eine Suche, die Dokumentrechte nicht berücksichtigt, kann Informationen in Antworten offenlegen, obwohl eine Person das Quelldokument nicht selbst öffnen dürfte. Microsoft dokumentiert für RAG-Anwendungen die Notwendigkeit von Zugriffskontrollen beim Abruf und warnt vor der Offenlegung sensibler Inhalte bei unzureichender Konfiguration. Die konkrete Umsetzung hängt vom gewählten Speicher- und Identitätssystem ab.

Prüfen Sie außerdem, welche Daten an Suchdienst und Sprachmodell übertragen werden, wie Protokolle und Indexe behandelt werden und wer die Quellen pflegt. Abhängig von den eingebundenen Inhalten können Datenschutz-, Informationssicherheits- und Mitbestimmungsfragen entstehen. Dieser Beitrag ersetzt keine Prüfung des konkreten Datenflusses oder Vertrags.

Auch abgerufene Dokumente sollten als nicht vertrauenswürdige Eingabe behandelt werden. Sie können fehlerhafte Angaben oder Anweisungen enthalten, die nicht als Systemregeln übernommen werden dürfen. Microsoft empfiehlt ausdrücklich, abgerufene Inhalte abzusichern und Eingaben aus Dokumenten gegen Prompt-Injection-Risiken zu berücksichtigen.

Geeignete Fragen und klare Grenzen

RAG lässt sich für eng umrissene Fragen zu Richtlinien, Prozessbeschreibungen, Handbüchern oder internen FAQs erproben. Entscheidend ist, dass die relevante Antwort in den eingebundenen Quellen steht und die Trefferqualität für typische Fragen überprüft werden kann. Das sind mögliche Einsatzfelder, keine Zusage für bessere Antwortqualität oder kürzere Suchzeiten.

Wissen, das nur in Gesprächen oder nicht dokumentierten Routinen vorliegt, kann ein RAG-System nicht allein durch die Suche erschließen. Ebenso ist RAG keine automatische Prüfung auf Regelkonformität und kein Ersatz für Fachentscheidungen. Bei unklarer Quellenlage sollte das System die Grenzen kenntlich machen, eine zuständige Person einbeziehen oder keine Antwort geben.

Einen RAG-Anwendungsfall bewerten

Beginnen Sie mit einem abgegrenzten Themenbereich und einer Liste typischer Fragen. Legen Sie für jede Frage fest, welche Dokumente die Antwort tragen müssten, welche Quellen unzulässig wären und was das System bei fehlenden oder widersprüchlichen Informationen tun soll.

Prüfen Sie den Ablauf anschließend in mehreren Stufen:

• Quellenbestand: Sind Inhalte freigegeben, aktuell, eindeutig versioniert und für den Zweck geeignet?
• Abruf: Werden relevante Passagen gefunden, und bleiben sie innerhalb der jeweiligen Nutzerberechtigungen?
• Antwort: Entspricht jede wichtige Aussage dem bereitgestellten Beleg? Sind Verweise geöffnet und überprüft worden?
• Grenzfälle: Wie verhält sich das System bei fehlenden Belegen, veralteten Dokumenten, widersprüchlichen Quellen oder ungewöhnlichen Fragen?
• Betrieb: Wer aktualisiert Quellen, prüft Qualitätsprobleme und bearbeitet Rückmeldungen oder Vorfälle?

Erstellen Sie vorab ein Testset mit realistischen und kritischen Fragen. Bewerten Sie Abruf und Antwort getrennt: Ein korrekt formulierter Text hilft nicht, wenn die falschen Quellen gefunden wurden. Dokumentieren Sie Fehler, Prüfaufwand und Berechtigungsfälle und wiederholen Sie die Tests nach Änderungen an Modellen, Prompts, Quellen oder Suchkonfiguration.

Zur Bewertung des Aufwands und der möglichen Prozesswirkung passt ergänzend der Beitrag KI-Produktivität in Fachabteilungen belastbar messen. Messwerte aus einem Pilotversuch gelten zunächst für dessen konkreten Umfang und belegen keine allgemeine Suchzeitersparnis.

Beratung zur Konzeption

Die Leistung Maßgeschneiderter KI-Assistent (RAG-basiert) beschreibt Beratung und Workshops zu Zielsetzung, Wissensquellen, Nutzergruppen, Antwortlogik und Qualitätskriterien sowie Unterstützung im Betrieb. Für eine erste Einordnung sollten Sie den vorgesehenen Anwendungsfall, die benötigten Quellen und Anforderungen an Zugriffsrechte und Antwortprüfung benennen. Aussagen zu Antwortpräzision, Aktualität und Aufwand sind abhängig von der konkreten Umsetzung und müssen dafür gesondert geprüft werden.