Ein RAG-System lebt von genau dem Wissen, das besonders schützenswert ist: Verträge, Personalunterlagen, Kundenakten, internes Know-how. Deshalb ist Datenschutz hier keine Fußnote, sondern eine der ersten Architekturfragen. Die gute Nachricht: Es geht nicht um „erlaubt oder verboten“, sondern um bewusste Entscheidungen, wo welche Daten liegen und verarbeitet werden.

Was bei RAG datenschutzrechtlich anders ist als bei ChatGPT

Bei einem öffentlichen Chatbot stellen Sie allgemeine Fragen. Bei RAG geben Sie Ihr eigenes Firmenwissen hinein — und dabei entstehen zwei neue Orte, an denen Ihre Daten liegen: die Dokumente selbst und die daraus erzeugten Vektoren, also das maschinenlesbare Abbild ihrer Bedeutung. Beide müssen geschützt sein. Datenschutz bei RAG heißt deshalb vor allem: die Kontrolle über diese beiden Orte behalten.

Wo Ihre Dokumente und Vektoren liegen

Ihre Dokumente werden nicht „ins Modell eingebaut“. Sie bleiben in Ihrem System liegen; das Sprachmodell bekommt pro Frage nur die wenigen passenden Ausschnitte zu sehen. Die Vektoren liegen in einer eigenen Vektordatenbank — und die kann bei Ihnen im Haus, in einer EU-Cloud oder bei einem beliebigen US-Anbieter stehen. Genau diese Wahl entscheidet, wie viel Kontrolle Sie über Ihr Wissen behalten.

EU-Hosting und lokale Modelle: Kontrolle behalten

Für sensibles Firmenwissen ist die Verarbeitung in der EU oder im eigenen Haus der Kern der Sache. Eine offene Basis wie pgvector lässt sich notfalls selbst betreiben, und lokale oder EU-gehostete Modelle können auch vertrauliches Wissen verarbeiten, ohne dass es das Unternehmen verlässt. So bleibt der produktive Zugriff auf Ihr Wissen möglich, ohne den Datenschutz aufzugeben — im DACH-Raum oft das ausschlaggebende Argument.

Die Vendor-Lock-in-Falle

Cloud-Komplettlösungen wirken bequem: Dokumente hochladen, fertig. Der Haken zeigt sich später — bei vielen Anbietern kommen die erzeugten Vektoren nicht sauber wieder heraus. Wer erst Tausende Dokumente eingespeist hat, sitzt dann fest und kann den Anbieter kaum noch wechseln. Eine offene Basis hält diesen Weg zurück von Anfang an offen. Der KI-Markt bewegt sich zu schnell, um sich früh unumkehrbar an einen Anbieter zu binden.

Vorsicht bei kostenlosen Tools und Schatten-KI

Kostenlose oder Standard-Tarife mancher Wissens-Tools behalten sich vor, Inhalte durch Menschen prüfen zu lassen oder für das Training zu verwenden — für echtes Firmenwissen ist das ungeeignet, allenfalls für unternehmensfremde Recherche. Das eigentliche Alltagsrisiko ist aber die „Schatten-KI“: Mitarbeiter kopieren mangels Alternative Firmeninterna in öffentliche Chatbots. Ein bloßes Verbot wirkt selten. Wirksam ist das Gegenteil — ein kontrolliertes, datenschutzkonformes System, das gut genug ist, dass niemand mehr ausweichen muss.

Zugriffsrechte und Anonymisierung

Zwei Bausteine entscheiden, ob das System im Alltag sauber bleibt:

• Zugriffsrechte: Wer welche Dokumente sehen darf, muss sich im System abbilden — nicht jeder darf alles abfragen.
• Anonymisierung: Vor dem Einspeisen wird geklärt, welche personenbezogenen Daten überhaupt hineindürfen und welche vorher anonymisiert oder pseudonymisiert werden.
• Auftragsverarbeitung: Mit dem Anbieter, der pro Frage Ausschnitte oder Embeddings verarbeitet, gehört ein Auftragsverarbeitungsvertrag (AVV) geklärt.
• Klare Regel: Was aus welcher Quelle ins System darf, wird einmal festgelegt — nicht dem Zufall überlassen.

Woran Sie ein datenschutzkonformes RAG-System erkennen

Ob eine Wissens-App den Datenschutz wirklich wahrt, zeigt sich an wenigen, prüfbaren Punkten: Die Verarbeitung läuft in der EU oder im eigenen Haus. Die Basis ist offen genug, dass kein Vendor-Lock-in entsteht. Zugriffsrechte sind abgebildet. Jede Antwort verweist auf ihre Quelle, und es ist jederzeit klar, woher die Daten stammen. Fehlt einer dieser Punkte, ist das System vielleicht schnell gebaut — aber nicht alltagstauglich für sensibles Wissen.