Wer sich mit KI-Wissensdatenbanken beschäftigt, stößt irgendwann auf GraphRAG — oft verbunden mit dem Versprechen, es sei die nächste Stufe. Das stimmt für bestimmte Fragen, führt aber leicht in die Irre. GraphRAG löst ein spezielles Problem, das die meisten Unternehmen gar nicht haben. Hier steht, was dahintersteckt und wann es sich wirklich lohnt.

Was ist ein Wissensgraph — und was GraphRAG?

Normales RAG zerlegt Ihre Dokumente in Textstücke und findet zu einer Frage die inhaltlich passenden Stellen. Ein Wissensgraph geht anders vor: Er speichert das Wissen als Netz. Die Knoten sind Dinge — Personen, Projekte, Kunden, Verträge — und die Kanten sind die Beziehungen zwischen ihnen. GraphRAG nutzt dieses Netz, um Antworten aus verknüpften Fakten zusammenzusetzen, statt nur eine Textstelle zu zitieren.

Wo normales RAG an Grenzen stößt: die Multi-Hop-Frage

Die klassische semantische Suche findet die Stelle, die zu einer Frage passt. Schwierig wird es, wenn die Antwort über mehrere Ecken verstreut ist. Ein Beispiel: „Welche Mitarbeiterin war 2023 für das Projekt bei Kunde X verantwortlich, bei dem ein Vertrag mit Force-Majeure-Klausel galt?“ Diese Antwort steht in keinem einzelnen Dokument — sie ergibt sich erst, wenn man Projekt, Kunde, Zeitraum, Vertrag und Zuständigkeit miteinander verknüpft. Solche Ketten nennt man Multi-Hop-Fragen.

Wie GraphRAG die Frage anders löst

Weil im Wissensgraphen die Beziehungen selbst gespeichert sind, kann GraphRAG dem Netz entlanggehen: vom Kunden zum Projekt, vom Projekt zum Zeitraum und zum Vertrag, vom Vertrag zur verantwortlichen Person. Statt zu hoffen, dass eine einzelne Textstelle alles enthält, setzt es die Antwort aus den verbundenen Fakten zusammen. Genau darin ist es der reinen Textsuche überlegen.

Ein Beispiel: dieselbe Frage, zwei Wege

Nehmen wir die Frage von oben. Normales RAG sucht Textstellen, in denen „Force-Majeure“, „Kunde X“ und „2023“ zusammen vorkommen — und findet die vollständige Antwort nur, wenn ein einzelnes Dokument alles zugleich erwähnt. Steht die Zuständigkeit im Projektplan, die Klausel im Vertrag und der Kunde in der Kundenakte, bleibt die Antwort lückenhaft. GraphRAG dagegen startet beim Knoten „Kunde X“, folgt der Kante zu seinen Projekten, filtert auf 2023, springt vom Projekt zum zugehörigen Vertrag, prüft dort die Klausel und liest am Ende die verantwortliche Person aus — vier Sprünge durch das Netz, die jeweils in einem anderen Dokument stehen.

Was GraphRAG konkret kostet — und was „Pflege“ heißt

„Aufwendiger“ bleibt abstrakt, deshalb konkret: Der Mehraufwand steckt nicht im Beantworten der Fragen, sondern im Bauen und Aktuellhalten des Graphen. Diese fünf Posten treiben die Kosten:

• Graph-Aufbau: Ein Sprachmodell muss jedes Dokument durchgehen und Entitäten (Personen, Firmen, Verträge) samt ihrer Beziehungen herauslesen — ein Vielfaches an KI-Aufrufen gegenüber dem simplen Zerlegen in Textstücke. Der erste Aufbau eines größeren Bestands ist rechen- und kostenintensiv.
• Begriffe zusammenführen (Entity Resolution): Mal „Müller GmbH“, mal „Müller“, mal „der Auftraggeber“ — der Graph taugt nur, wenn diese Varianten zu einem einzigen Knoten werden. Diese Auflösung ist Regelwerk und Handarbeit und eine ständige Fehlerquelle.
• Nacharbeit bei jeder Änderung: Ändert sich ein Dokument, reicht kein Neu-Einlesen eines Textstücks — betroffene Knoten und Kanten müssen neu extrahiert und verwaiste Verknüpfungen bereinigt werden. Aktualität kostet laufend mehr als bei normalem RAG.
• Ein zweites System: Neben der Vektor-Datenbank kommt meist eine eigene Graph-Datenbank dazu, die betrieben, gesichert und überwacht werden will.
• Schwerer zu prüfen: Eine falsch erkannte Beziehung führt zu einer falschen Antwort, die man ihr nicht ansieht. Die Qualitätssicherung ist aufwendiger als bei quellenbasiertem RAG, wo jede Antwort auf eine zitierbare Textstelle zeigt.

Kurz: Bei normalem RAG pflegt man Dokumente, bei GraphRAG zusätzlich ein Netz aus Entitäten und Beziehungen — und dieses Netz veraltet und verrutscht mit jeder Änderung. Genau dieser Dauer-Aufwand ist der Grund, warum GraphRAG sich nur bei echtem Bedarf rechnet.

Woran Sie erkennen, ob Sie GraphRAG-Fragen haben

Ob GraphRAG für Sie relevant ist, hängt nicht an der Technik, sondern an Ihren Fragen. Prüfen Sie, ob Ihre wichtigsten Fragen typischerweise so aussehen:

• Sie verknüpfen mehrere Dinge über Bedingungen — „Welche …, bei denen … und gleichzeitig …?“
• Die Antwort steht garantiert in keinem einzelnen Dokument, sondern verteilt über mehrere.
• Es geht um Beziehungen zwischen Personen, Projekten, Kunden, Verträgen — nicht um das Nachschlagen eines einzelnen Fakts.
• Sie fragen nach Ketten oder Netzwerken („wer hängt womit zusammen“), nicht nach „was steht dazu im Handbuch“.

Klingen Ihre Fragen dagegen eher wie „Was gilt für …?“ oder „Wo finde ich …?“, brauchen Sie keinen Graphen — dann ist Advanced RAG genau richtig.

Wann GraphRAG sich lohnt — und wann Advanced RAG reicht

Für die allermeisten Unternehmens-Anwendungen — Antworten aus Handbüchern, Verträgen, Tickets oder FAQ — ist Advanced RAG mit Hybrid Search und Reranking der richtige, wartbare Standard. GraphRAG wird erst dann interessant, wenn vernetzte Multi-Hop-Fragen den Kern des Anwendungsfalls bilden und diese Beziehungen ohnehin sauber gepflegt vorliegen. Übrigens muss es kein Entweder-oder sein: Ansätze wie das GraphRAG von Microsoft kombinieren Graph und semantische Suche und nutzen je Frage den passenden Weg.