Zum Hauptinhalt springen
Zurück zum Blog
Individuelle GenAI-Lösungen

Wann sollte Ihr RAG-Assistent keine Antwort geben? So prüfen Sie seine Antwortgrenzen

Von Martin Feld · Veröffentlicht am

Wann sollte Ihr RAG-Assistent keine Antwort geben? So prüfen Sie seine Antwortgrenzen
#RAG

Wie Sie unbeantwortbare Fragen im RAG-Testset abbilden und unbelegte Antworten sowie unnötige Antwortverweigerungen getrennt bewerten.


Ein Wissensassistent beantwortet die Frage nach einer internen Ausnahmeregel. Die Antwort klingt eindeutig, doch die freigegebenen Dokumente enthalten diese Regel nicht. In einem anderen Test verweigert derselbe Assistent eine Antwort, obwohl die passende Passage vorliegt. Beide Ergebnisse sind für die Abnahme wichtig: Das System soll seine Wissensgrenzen beachten und vorhandene Belege sinnvoll nutzen.

Dieser Beitrag richtet sich an Fachverantwortliche und Qualitätssicherung individueller RAG-Lösungen. Er vertieft die Grenzfalltests aus dem Beitrag RAG-Assistenten für Unternehmenswissen zu einer Bewertungsmatrix für Antworten und Antwortverweigerungen. Die Matrix ist eine redaktionelle Empfehlung für Ihr eigenes Testverfahren.

Wann eine Frage mit dem verfügbaren Wissen beantwortbar ist

Legen Sie für jede Testfrage fest, welche freigegebene Quelle die Antwort trägt und welche Aussagen daraus folgen dürfen. „Beantwortbar“ sollte sich auf einen bestimmten Quellenstand und eine bestimmte Nutzerrolle beziehen. Was in einer anderen Ablage vorhanden ist oder nur einer anderen Rolle offensteht, ist damit noch kein verfügbarer Beleg für diese Anfrage.

Beginnen Sie mit einem abgegrenzten Themenbereich. Nehmen Sie eindeutig beantwortbare Fragen, Fragen außerhalb dieses Bereichs und Fragen mit nur teilweise dokumentierter Antwort auf. Ergänzen Sie realistische Formulierungsvarianten. Die fachlich zuständige Person sollte die erwartete Reaktion vor dem Test festlegen, damit die erzeugte Antwort nicht nachträglich zum Bewertungsmaßstab wird.

Microsoft empfiehlt im Azure-Architekturleitfaden zu RAG-Prompts, Verhalten bei fehlendem Kontext ausdrücklich festzulegen, Teilantworten abzugrenzen und widersprüchliche Informationen sichtbar zu behandeln. Diese Anleitung ist keine Garantie, dass ein Modell die Vorgaben zuverlässig einhält.

Fehlendes Wissen von einem Suchfehler unterscheiden

Wenn keine tragfähige Antwort entsteht, prüfen Sie zwei Ebenen: Gibt es die benötigte Information im zulässigen Quellenbestand, und wurde die relevante Passage tatsächlich an das Modell übergeben?

Fehlt der Beleg bereits in der Wissensbasis, ist Quellenpflege oder eine fachliche Klärung nötig. Ist der Beleg vorhanden, wurde aber nicht gefunden, sollte das Team den Abruf untersuchen. Liegt die passende Passage im Kontext und wird dennoch nicht genutzt, betrifft die weitere Prüfung die Antworterzeugung und ihre Vorgaben.

Diese Unterscheidung verhindert, dass jede verweigerte Antwort als Erfolg der Sicherheitsregeln bewertet wird. Eine vorsichtige Antwort kann gegenüber unzureichendem Kontext angemessen sein und gleichzeitig einen Fehler der Suche sichtbar machen. Dokumentieren Sie daher sowohl die erwartete Antwort anhand des Quellenbestands als auch die Angemessenheit der Reaktion auf den tatsächlich bereitgestellten Kontext.

Antwort, Teilantwort, Rückfrage und Übergabe definieren

Beschreiben Sie für Ihre Anwendung, wann welche Reaktion erwartet wird. Die folgende Tabelle zeigt mögliche Regeln; sie muss zu Aufgabe, Quellen und Nutzergruppe passen.

InformationslageErwartbare ReaktionWas der Test kontrolliert
Alle nötigen Aussagen sind belegtAntwort mit passenden QuellenhinweisenAussagen stimmen mit den Belegen überein
Nur ein abtrennbarer Teil ist belegtBegrenzte Teilantwort mit benannter LückeFehlende Teile werden nicht ergänzt
Eine notwendige Angabe fehlt in der FrageGezielte RückfrageDie Rückfrage betrifft die entscheidende Unklarheit
Zulässige Quellen enthalten keinen BelegGrenze erklären und gegebenenfalls übergebenKein erfundener Inhalt und keine vorgespiegelte Suche
Maßgebliche Quellen widersprechen sichWiderspruch kenntlich machen und Klärung vorsehenKeine unbegründete Auswahl einer Fassung

Eine Übergabe sollte erkennen lassen, an wen sich die Person wenden kann und welche Frage offenbleibt. Wenn Ihre Anwendung keine technische Weiterleitung besitzt, sollte die Antwort auch keine erfolgte Weiterleitung behaupten. Definieren Sie zudem, welche Informationen bei eingeschränkten Zugriffsrechten angezeigt werden dürfen, ohne geschützte Inhalte oder deren Existenz offenzulegen.

Unbelegte Antworten und unnötige Ablehnungen getrennt messen

Ordnen Sie die Ergebnisse mindestens danach, ob die Frage nach Ihrem fachlichen Maßstab beantwortbar war und ob das System eine inhaltliche Antwort gegeben hat. Prüfen Sie bei gegebenen Antworten zusätzlich die Belegtreue. Eine Antwort auf eine beantwortbare Frage kann trotzdem falsch sein.

Erfassen Sie zwei getrennte Anteile: Bei wie vielen unbeantwortbaren Fragen wurde dennoch eine unbelegte Antwort erzeugt? Bei wie vielen beantwortbaren Fragen wurde die Antwort unnötig verweigert? Notieren Sie jeweils Zähler, Nenner und Fehlerfälle. Bewerten Sie Teilantworten und Rückfragen nach den zuvor festgelegten Regeln gesondert.

Ein zusammengefasster Durchschnitt verdeckt diese unterschiedlichen Fehler. Berichten Sie die Ergebnisse auch nach Fragetyp und Fehlerfolge. Eine fehlerhafte Auskunft zu einer unverbindlichen Orientierung ist anders zu bewerten als eine erfundene Regel, auf deren Basis eine geschäftliche Aktion erfolgen soll. Universell passende Grenzwerte lassen sich daraus nicht ableiten.

Aus den Tests eine begrenzte Freigabe ableiten

Fachverantwortliche sollten vorab festlegen, welche Fehlerarten eine Freigabe verhindern und welche Einschränkungen im vorgesehenen Einsatz vertretbar sind. Halten Sie Quellenstand, Nutzerrollen, Suchkonfiguration, Prompt und Modell fest, damit die geprüfte Variante erkennbar bleibt.

Trennen Sie Fälle zur Verbesserung der Lösung von zurückgehaltenen Fällen für die anschließende Prüfung. Wenn Sie Regeln oder Suche ändern, prüfen Sie beide Fehlerarten erneut: Eine strengere Antwortregel kann auch dazu führen, dass belegbare Fragen häufiger unbeantwortet bleiben. Eine solche Veränderung sollte in der Bewertung sichtbar sein.

Beginnen Sie mit wenigen fachlich eindeutigen Fragen und erweitern Sie die Sammlung um beobachtete Grenzfälle. Die Leistung Maßgeschneiderter KI-Assistent knüpft mit Fragetypen, Antwortlogik und Qualitätskriterien an diese Arbeit an. Für die konzeptionelle Einordnung ergänzt der Beitrag Maßgeschneiderte KI-Assistenten: Was Entscheider über RAG wissen sollten die Perspektive.

Quelle und Recherche-Stand

Microsoft Azure Architecture Center: RAG prompt engineering, aktualisiert am 2. Juli 2026; geprüft am 10. November 2026. Die Quelle stützt die Einordnung von Antwortvorgaben bei fehlenden oder widersprüchlichen Belegen. Testmatrix, Kennzahlen und Freigabevorgehen sind Empfehlungen zur projektspezifischen Ausgestaltung.

Vom Wissen zur Umsetzung

Sie möchten dieses Thema in Ihrem Unternehmen angehen? Wir unterstützen Sie mit maßgeschneiderter Beratung und Umsetzung.

Angebot ansehen
3

Passende Angebote für Weg 3

Individuelle GenAI-Lösungen

KI-Reifegrad- & Datenanalyse
Weg 3 – Individuelle GenAI-Lösungen

KI-Reifegrad- & Datenanalyse

Eigene oder maßgeschneiderte KI-Lösungen bieten große Chancen, sind jedoch mit Aufwand und Investitionen verbunden. Die KI-Reifegrad- & Datenanalyse schafft Klarheit darüber, ob Ihr Unternehmen bereit ist – und welcher Weg realistisch und wirtschaftlich sinnvoll ist.

Maßgeschneiderter KI-Assistent (RAG-basiert)
Weg 3 – Individuelle GenAI-Lösungen

Maßgeschneiderter KI-Assistent (RAG-basiert)

Standard-KI liefert oft allgemeine Antworten. Ein maßgeschneiderter, RAG-basierter KI-Assistent greift gezielt auf Ihr internes Wissen zu und beantwortet Fragen fachlich korrekt, aktuell und nachvollziehbar – exakt auf Ihr Unternehmen zugeschnitten.

Feintuning bestehender KI-Modelle
Weg 3 – Individuelle GenAI-Lösungen

Feintuning bestehender KI-Modelle

Allgemeine KI-Modelle liefern oft gute, aber nicht immer fachlich exakte Ergebnisse. Durch gezieltes Feintuning lassen sich bestehende Modelle an Ihre Terminologie, Inhalte und Prozesse anpassen – für deutlich höhere Qualität und Zuverlässigkeit.

KI-gestützte Entscheidungsunterstützung
Weg 3 – Individuelle GenAI-Lösungen

KI-gestützte Entscheidungsunterstützung

Entscheider stehen täglich vor komplexen Fragestellungen und einer Vielzahl an Informationen. KI-gestützte Entscheidungsunterstützung hilft dabei, relevante Daten zu bündeln, Zusammenhänge aufzuzeigen und fundierte Entscheidungen schneller zu treffen.

Skalierbare KI-Architektur & Betriebsmodell
Weg 3 – Individuelle GenAI-Lösungen

Skalierbare KI-Architektur & Betriebsmodell

Individuelle KI-Lösungen entfalten ihren Wert erst im stabilen Betrieb. Eine skalierbare Architektur und ein klares Betriebsmodell sorgen dafür, dass KI zuverlässig funktioniert, mitwächst und langfristig beherrschbar bleibt.

KI-Governance, AI Act & Compliance
Weg 3 – Individuelle GenAI-Lösungen

KI-Governance, AI Act & Compliance

Mit zunehmendem Einsatz von Künstlicher Intelligenz steigen die regulatorischen Anforderungen. Eine klare KI-Governance und die frühzeitige Auseinandersetzung mit dem EU AI Act schaffen Rechtssicherheit, Vertrauen und langfristige Handlungsfähigkeit.

Strategische KI-Roadmap
Weg 3 – Individuelle GenAI-Lösungen

Strategische KI-Roadmap

Einzelne KI-Projekte entfalten ihren vollen Wert erst dann, wenn sie Teil einer übergeordneten Strategie sind. Eine strategische KI-Roadmap verbindet Technologie, Prozesse und Unternehmensziele zu einem klaren, umsetzbaren Gesamtbild.

3

Weitere Artikel zu Weg 3

Individuelle GenAI-Lösungen