Wann sollte Ihr RAG-Assistent keine Antwort geben? So prüfen Sie seine Antwortgrenzen
Von Martin Feld · Veröffentlicht am

Wie Sie unbeantwortbare Fragen im RAG-Testset abbilden und unbelegte Antworten sowie unnötige Antwortverweigerungen getrennt bewerten.
Ein Wissensassistent beantwortet die Frage nach einer internen Ausnahmeregel. Die Antwort klingt eindeutig, doch die freigegebenen Dokumente enthalten diese Regel nicht. In einem anderen Test verweigert derselbe Assistent eine Antwort, obwohl die passende Passage vorliegt. Beide Ergebnisse sind für die Abnahme wichtig: Das System soll seine Wissensgrenzen beachten und vorhandene Belege sinnvoll nutzen.
Dieser Beitrag richtet sich an Fachverantwortliche und Qualitätssicherung individueller RAG-Lösungen. Er vertieft die Grenzfalltests aus dem Beitrag RAG-Assistenten für Unternehmenswissen zu einer Bewertungsmatrix für Antworten und Antwortverweigerungen. Die Matrix ist eine redaktionelle Empfehlung für Ihr eigenes Testverfahren.
Wann eine Frage mit dem verfügbaren Wissen beantwortbar ist
Legen Sie für jede Testfrage fest, welche freigegebene Quelle die Antwort trägt und welche Aussagen daraus folgen dürfen. „Beantwortbar“ sollte sich auf einen bestimmten Quellenstand und eine bestimmte Nutzerrolle beziehen. Was in einer anderen Ablage vorhanden ist oder nur einer anderen Rolle offensteht, ist damit noch kein verfügbarer Beleg für diese Anfrage.
Beginnen Sie mit einem abgegrenzten Themenbereich. Nehmen Sie eindeutig beantwortbare Fragen, Fragen außerhalb dieses Bereichs und Fragen mit nur teilweise dokumentierter Antwort auf. Ergänzen Sie realistische Formulierungsvarianten. Die fachlich zuständige Person sollte die erwartete Reaktion vor dem Test festlegen, damit die erzeugte Antwort nicht nachträglich zum Bewertungsmaßstab wird.
Microsoft empfiehlt im Azure-Architekturleitfaden zu RAG-Prompts, Verhalten bei fehlendem Kontext ausdrücklich festzulegen, Teilantworten abzugrenzen und widersprüchliche Informationen sichtbar zu behandeln. Diese Anleitung ist keine Garantie, dass ein Modell die Vorgaben zuverlässig einhält.
Fehlendes Wissen von einem Suchfehler unterscheiden
Wenn keine tragfähige Antwort entsteht, prüfen Sie zwei Ebenen: Gibt es die benötigte Information im zulässigen Quellenbestand, und wurde die relevante Passage tatsächlich an das Modell übergeben?
Fehlt der Beleg bereits in der Wissensbasis, ist Quellenpflege oder eine fachliche Klärung nötig. Ist der Beleg vorhanden, wurde aber nicht gefunden, sollte das Team den Abruf untersuchen. Liegt die passende Passage im Kontext und wird dennoch nicht genutzt, betrifft die weitere Prüfung die Antworterzeugung und ihre Vorgaben.
Diese Unterscheidung verhindert, dass jede verweigerte Antwort als Erfolg der Sicherheitsregeln bewertet wird. Eine vorsichtige Antwort kann gegenüber unzureichendem Kontext angemessen sein und gleichzeitig einen Fehler der Suche sichtbar machen. Dokumentieren Sie daher sowohl die erwartete Antwort anhand des Quellenbestands als auch die Angemessenheit der Reaktion auf den tatsächlich bereitgestellten Kontext.
Antwort, Teilantwort, Rückfrage und Übergabe definieren
Beschreiben Sie für Ihre Anwendung, wann welche Reaktion erwartet wird. Die folgende Tabelle zeigt mögliche Regeln; sie muss zu Aufgabe, Quellen und Nutzergruppe passen.
| Informationslage | Erwartbare Reaktion | Was der Test kontrolliert |
|---|---|---|
| Alle nötigen Aussagen sind belegt | Antwort mit passenden Quellenhinweisen | Aussagen stimmen mit den Belegen überein |
| Nur ein abtrennbarer Teil ist belegt | Begrenzte Teilantwort mit benannter Lücke | Fehlende Teile werden nicht ergänzt |
| Eine notwendige Angabe fehlt in der Frage | Gezielte Rückfrage | Die Rückfrage betrifft die entscheidende Unklarheit |
| Zulässige Quellen enthalten keinen Beleg | Grenze erklären und gegebenenfalls übergeben | Kein erfundener Inhalt und keine vorgespiegelte Suche |
| Maßgebliche Quellen widersprechen sich | Widerspruch kenntlich machen und Klärung vorsehen | Keine unbegründete Auswahl einer Fassung |
Eine Übergabe sollte erkennen lassen, an wen sich die Person wenden kann und welche Frage offenbleibt. Wenn Ihre Anwendung keine technische Weiterleitung besitzt, sollte die Antwort auch keine erfolgte Weiterleitung behaupten. Definieren Sie zudem, welche Informationen bei eingeschränkten Zugriffsrechten angezeigt werden dürfen, ohne geschützte Inhalte oder deren Existenz offenzulegen.
Unbelegte Antworten und unnötige Ablehnungen getrennt messen
Ordnen Sie die Ergebnisse mindestens danach, ob die Frage nach Ihrem fachlichen Maßstab beantwortbar war und ob das System eine inhaltliche Antwort gegeben hat. Prüfen Sie bei gegebenen Antworten zusätzlich die Belegtreue. Eine Antwort auf eine beantwortbare Frage kann trotzdem falsch sein.
Erfassen Sie zwei getrennte Anteile: Bei wie vielen unbeantwortbaren Fragen wurde dennoch eine unbelegte Antwort erzeugt? Bei wie vielen beantwortbaren Fragen wurde die Antwort unnötig verweigert? Notieren Sie jeweils Zähler, Nenner und Fehlerfälle. Bewerten Sie Teilantworten und Rückfragen nach den zuvor festgelegten Regeln gesondert.
Ein zusammengefasster Durchschnitt verdeckt diese unterschiedlichen Fehler. Berichten Sie die Ergebnisse auch nach Fragetyp und Fehlerfolge. Eine fehlerhafte Auskunft zu einer unverbindlichen Orientierung ist anders zu bewerten als eine erfundene Regel, auf deren Basis eine geschäftliche Aktion erfolgen soll. Universell passende Grenzwerte lassen sich daraus nicht ableiten.
Aus den Tests eine begrenzte Freigabe ableiten
Fachverantwortliche sollten vorab festlegen, welche Fehlerarten eine Freigabe verhindern und welche Einschränkungen im vorgesehenen Einsatz vertretbar sind. Halten Sie Quellenstand, Nutzerrollen, Suchkonfiguration, Prompt und Modell fest, damit die geprüfte Variante erkennbar bleibt.
Trennen Sie Fälle zur Verbesserung der Lösung von zurückgehaltenen Fällen für die anschließende Prüfung. Wenn Sie Regeln oder Suche ändern, prüfen Sie beide Fehlerarten erneut: Eine strengere Antwortregel kann auch dazu führen, dass belegbare Fragen häufiger unbeantwortet bleiben. Eine solche Veränderung sollte in der Bewertung sichtbar sein.
Beginnen Sie mit wenigen fachlich eindeutigen Fragen und erweitern Sie die Sammlung um beobachtete Grenzfälle. Die Leistung Maßgeschneiderter KI-Assistent knüpft mit Fragetypen, Antwortlogik und Qualitätskriterien an diese Arbeit an. Für die konzeptionelle Einordnung ergänzt der Beitrag Maßgeschneiderte KI-Assistenten: Was Entscheider über RAG wissen sollten die Perspektive.
Quelle und Recherche-Stand
Microsoft Azure Architecture Center: RAG prompt engineering, aktualisiert am 2. Juli 2026; geprüft am 10. November 2026. Die Quelle stützt die Einordnung von Antwortvorgaben bei fehlenden oder widersprüchlichen Belegen. Testmatrix, Kennzahlen und Freigabevorgehen sind Empfehlungen zur projektspezifischen Ausgestaltung.
Vom Wissen zur Umsetzung
Sie möchten dieses Thema in Ihrem Unternehmen angehen? Wir unterstützen Sie mit maßgeschneiderter Beratung und Umsetzung.
Angebot ansehen








