Sichere RAG-Lösung: 10 Prüffragen zu Datenschutz, Rechten und Betrieb

Diese zehn Fragen prüfen den Weg eines Dokuments von der Quelle bis zur Antwort.

Kurz: Sicher ist eine RAG-Lösung, wenn Ihre Daten in einem geprüften Rechenzentrum oder bei Ihnen verarbeitet werden, nicht zum Training dienen, die Rechte aus Ihren Quellsystemen bis in die Antwort mitreisen und sich jedes Dokument samt Vektoreinträgen gezielt löschen lässt. Dazu gehören ein Auftragsverarbeitungsvertrag mit Regeln für KI, eine offene Liste der Unterauftragnehmer, durchgehende Verschlüsselung und Antworten mit Quellen. Die Prüffragen zeigen, worauf es ankommt und wie T5.Knowledge sie beantwortet.

Autor: Jonas Bayer, GeschäftsführerZuletzt geprüft:

Sichere RAG-Lösung

So bleibt ein Dokument geschützt. Vom Ordner bis zur Antwort.

VertriebQuelleSharePointVerbindungTLS-verschlüsseltISO 27001 · BSI C5Rechenzentrum MainzModelle selbst betriebenverschlüsselt gespeichertAufbereitungRechte reisen mitLVertriebMEinkaufSuchenur erlaubte TrefferQuelle: Angebot_Müller.pdfAntwortmit Quelle48123910567Lila Kreise mit Nummer = Prüffrage. Ein Klick springt zur Erklärung.VertriebQuelleSharePointVerbindungTLS-verschlüsseltISO 27001 · BSI C5RechenzentrumMainzModelle selbstbetriebenverschlüsseltgespeichertAufbereitungRechte reisen mitLVertriebMEinkaufSuchenur erlaubte TrefferAngebot_Müller.pdfAntwortmit Quelle48123910567Lila Kreise mit Nummer = Prüffrage.Ein Klick springt zur Erklärung.

Beispielinhalt. Rechte nach dem Stand des letzten Abgleichs, Live-Treffer aus SharePoint werden einzeln geprüft.

Ein Dokument reist von der Quelle bis zur Antwort durch sechs Stationen, an jeder Station sitzen Prüfpunkte, und seine Rechte reisen bis zum Schluss mit.

RAG steht für Retrieval Augmented Generation: Eine KI beantwortet Fragen aus Ihren eigenen Dokumenten, statt nur aus dem, was sie beim Training gelernt hat. Damit wandern Angebote, Verträge, Personalunterlagen und Projektakten durch ein neues System. Die Frage, ob dieses System sicher ist, lässt sich nicht mit einem Siegel beantworten, sondern nur Station für Station.

Die Grafik oben zeigt diese Stationen: Quelle, Verbindung, Rechenzentrum, Aufbereitung, Suche und Antwort. Die lila Kreise mit Nummer sind die zehn Prüffragen dieser Seite. Jede Frage hat zwei Teile: worauf Sie bei jedem Anbieter achten sollten und wie T5.Knowledge, die Wissenssuche hinter unserer RAG API aus Deutschland, die Frage beantwortet. Nehmen Sie die Fragen gern in Ihre Ausschreibung oder Ihren Sicherheitsfragebogen auf.

Wo werden meine Daten verarbeitet und gespeichert?

Worauf Sie achten sollten

Fragen Sie nicht nur nach dem Land, sondern nach dem konkreten Rechenzentrum und seinem Betreiber. Wichtig ist auch, wo die Sprachmodelle laufen: Werden Ihre Inhalte zur Verarbeitung an einen Modellanbieter in einem anderen Land geschickt, hilft der Serverstandort allein wenig. Prüfen Sie außerdem, ob ein Betrieb in Ihrer eigenen Infrastruktur möglich ist, falls Ihre Daten das Haus nicht verlassen sollen.

So beantwortet es T5.Knowledge

Die Serverinfrastruktur steht in Mainz in einem nach ISO 27001 und BSI C5 zertifizierten Rechenzentrum der Synaforce GmbH. Standardmäßig verarbeitet T5.Knowledge Inhalte mit selbst betriebenen Modellen im TensorFive-Rechenzentrum in Mainz; nur wenn Lastspitzen die Kapazität dort übersteigen, übernimmt vorübergehend STACKIT Model Serving, ein im Auftragsverarbeitungsvertrag genannter Unterauftragnehmer. Auf Wunsch ist auch ein Betrieb On-Premise in Ihrer Infrastruktur möglich.

Werden meine Daten zum Training oder für andere Zwecke genutzt?

Worauf Sie achten sollten

Ein Satz auf der Website reicht nicht. Der Ausschluss von Training, Profiling und Werbung gehört in den Vertrag, und er muss auch für die Dienste gelten, die der Anbieter selbst einsetzt. Achten Sie darauf, wie mit den abgeleiteten Daten umgegangen wird: Auch KI-Embeddings und Einträge einer Vektordatenbank können Rückschlüsse auf Personen erlauben.

So beantwortet es T5.Knowledge

Kundendaten werden nicht zu eigenen Zwecken genutzt: kein Training, kein Profiling, keine Werbung. Das steht im Auftragsverarbeitungsvertrag. KI-Embeddings und Einträge der Vektordatenbank werden wie personenbezogene Daten behandelt. Besondere Kategorien personenbezogener Daten nach Art. 9 DSGVO verarbeitet TensorFive nur auf ausdrückliche, dokumentierte Weisung.

Welche Unterauftragnehmer sind beteiligt?

Worauf Sie achten sollten

Lassen Sie sich die vollständige Liste der Unterauftragnehmer geben, jeweils mit ihrer Leistung. Klären Sie, ob neue Unterauftragnehmer Ihrer Zustimmung bedürfen oder nur angekündigt werden. Eine kurze, nachvollziehbare Liste ist ein gutes Zeichen.

So beantwortet es T5.Knowledge

TensorFive setzt sechs Unterauftragnehmer mit festen Rollen ein: Microsoft Corporation (GitHub für die automatisierte Auslieferung und Verwaltung der Anwendungen, Microsoft 365), STACKIT GmbH & Co. KG (Bereitstellung von KI-Modellen als Ausweichkapazität bei Lastspitzen, Confidential Kubernetes für besonders schützenswerte Instanzen), Hetzner Online GmbH (Serverkapazität bei Lastspitzen und für die Ausfallsicherheit, vorübergehend), Cloudflare, Inc. (DNS-Dienst und Schutz vor Angriffen wie DDoS), ALL-INKL.COM – Neue Medien Münnich (Domainbereitstellung), Synaforce GmbH (Colocation der Serverinfrastruktur im ISO 27001 und BSI C5 zertifizierten Rechenzentrum in Mainz). Weitere Unterauftragnehmer setzt TensorFive nur mit Zustimmung des Kunden ein. Die Tabelle steht im Trust Center.

Werden Berechtigungen aus den Quellsystemen übernommen?

Worauf Sie achten sollten

Eine RAG-Lösung darf niemandem mehr zeigen, als er in der Quelle sehen darf. Fragen Sie, ob die Berechtigungen aus SharePoint und anderen Quellsystemen übernommen werden, auch über Gruppen, wie oft sie abgeglichen werden und was mit Dokumenten ohne Rechteangabe geschieht. Wichtig: Die Prüfung muss bei jeder Suche greifen, nicht erst bei der Anzeige.

So beantwortet es T5.Knowledge

T5.Knowledge arbeitet mit vier Schutzschichten: API-Schlüssel, Mandant, Projekt und Dokumentrechte. Dokumente tragen die aus der Quelle übernommenen Rechte, also Nutzer und Microsoft-365-Gruppen. Die Suche zeigt nur Treffer, die der fragende Nutzer sehen darf, und ein Dokument ohne Rechteangabe sieht niemand. Live-Treffer aus SharePoint werden vor der Ausgabe einzeln gegen die aktuellen Rechte geprüft; indexierte Inhalte werden nach den Rechten des letzten Abgleichs gefiltert. Rechteänderungen wirken in unter 15 Minuten.

Rechte

Gleiche Frage, andere Person, andere Treffer.

Frage: „Was haben wir der Firma Müller angeboten?“Angebot_Müller.pdfVertriebPreisliste_2026.xlsxVertriebLiefervertrag.pdfEinkaufBestellung_4711.pdfEinkaufGehaltsbänder.xlsxPersonalStrategie_2027.pptxGeschäftsführungHandbuch_Service.docxalleReklamation_Müller.msgService, VertriebAngebot vom 12.03.2026über 48 Lizenzen; Reklamationvom 02.10. ist erledigt.Angebot_Müller.pdfReklamation_Müller.msgDazu finde ich keineDokumente, auf die SieZugriff haben.0 erlaubte Treffer

Beispielinhalt. Dokumente tragen die aus der Quelle übernommenen Rechte (Nutzer, Microsoft-365-Gruppen); die Suche filtert danach, Live-Treffer aus SharePoint werden einzeln gegen die aktuellen Rechte geprüft.

Dieselbe Frage bringt verschiedenen Personen verschiedene Treffer, je nachdem, was sie in der Quelle sehen dürfen.

Sind Mandanten und Projekte voneinander getrennt?

Worauf Sie achten sollten

Die Datenschutzkonferenz nennt die Mandantentrennung oder funktionale Trennung als bewährte Maßnahme für RAG-Systeme. Fragen Sie, wie Ihre Daten von denen anderer Kunden getrennt sind und ob sich verschiedene Anwendungen in Ihrem Unternehmen voneinander trennen lassen. Die Trennung muss nicht nur beim Lesen, sondern auch beim Ändern und Löschen gelten.

So beantwortet es T5.Knowledge

API-Schlüssel sind an Mandant und Projekt gebunden. Jeder Zugriff, auch Ändern und Löschen, bleibt im eigenen Mandanten. Mit getrennten Projekten und eigenen API-Schlüsseln je Anwendung lassen sich zudem verschiedene Zwecke voneinander trennen.

Lassen sich Dokumente samt Vektoreinträgen gezielt löschen?

Worauf Sie achten sollten

Ein Dokument liegt in einer RAG-Lösung nicht nur als Datei vor, sondern auch als viele Textabschnitte mit Suchvektoren und gegebenenfalls als Einträge in einem Wissensgraphen. Fragen Sie, ob beim Löschen alle diese Teile verschwinden, auch wenn das Dokument in der Quelle gelöscht wurde. Klären Sie außerdem die Fristen nach Vertragsende, auch für Backups.

So beantwortet es T5.Knowledge

Während der Laufzeit werden Daten auf Weisung berichtigt oder gelöscht. Ein gelöschtes Dokument entfernt T5.Knowledge vollständig: Datensatz, Suchvektoren und Graph-Einträge. Das gilt beim Löschen über die API und für Dokumente, die in der Quelle gelöscht wurden, ab dem nächsten Abgleich. Nach Vertragsende erhalten Sie einen Export, danach werden die Daten innerhalb von 30 Tagen gelöscht, aus Backups durch Überschreiben innerhalb von 35 Tagen.

Löschen

Ein Dokument, sechs Punkte. Löschen nimmt alle mit.

Kundenakte_Meier.pdfServicegelöschtVektordatenbank: ein Punkt je TextabschnittEinträge dieses Dokuments:6Nach VertragsendeTag 0 · Exportbis Tag 30 · gelöschtbis Tag 35 · Backups überschrieben

Ein gelöschtes Dokument verschwindet vollständig: Datensatz, Suchvektoren und Graph-Einträge, auch wenn es in der Quelle gelöscht wurde. Fristen nach Vertragsende laut Auftragsverarbeitungsvertrag. Beispielinhalt.

Ein Dokument liegt im Index als viele Punkte, und wird es gelöscht, verschwindet es vollständig mit allen Punkten.

Nennt jede Antwort ihre Quellen?

Worauf Sie achten sollten

Nur eine Antwort mit Quelle lässt sich prüfen. Achten Sie darauf, dass jede Antwort die verwendeten Dokumente nennt und dass diese sich öffnen lassen. Fragen Sie auch, ob die Lösung nur aus Ihren Dokumenten antwortet oder zusätzlich im Internet sucht. Eine Websuche sollte ein eigenes, abschaltbares Werkzeug sein.

So beantwortet es T5.Knowledge

Zu jeder Wissenssuche liefert T5.Knowledge die verwendeten Dokumente; T5.Chat zeigt sie als anklickbare Karten. Die Abfrageschnittstelle antwortet nur aus den gelieferten Quellen, und T5.Knowledge sucht nicht im Internet. In T5.Chat antwortet der Modus Wissensmanagement nur aus Dokumenten mit Zitaten; die Websuche ist dort ein eigenes, abschaltbares Werkzeug.

Wie sind Übertragung, Speicherung und Zugänge geschützt?

Worauf Sie achten sollten

Verschlüsselung sollte auf dem gesamten Weg gelten: bei der Übertragung, auch zwischen den Diensten im Rechenzentrum, und bei der Speicherung, auch in der Vektordatenbank und in Backups. Fragen Sie, wie Zugangsdaten zu Ihren Quellsystemen aufbewahrt werden, ob Zwei-Faktor-Anmeldung Pflicht ist und ob Zugriffe protokolliert werden.

So beantwortet es T5.Knowledge

Daten sind bei der Übertragung durchgehend TLS-verschlüsselt, auch zwischen den Diensten im Rechenzentrum, und bei der Speicherung verschlüsselt, auch in Vektordatenbank und Backups. Zugangsdaten zu Quellsystemen werden zusätzlich verschlüsselt gespeichert. Systeme mit vertraulichen Daten sind mit Zwei-Faktor-Authentifizierung geschützt, das Netz mehrschichtig mit Firewalls und der Zero-Trust-Infrastruktur von Cloudflare. Zugriffe auf vertrauliche Daten werden protokolliert und regelmäßig geprüft, Zugriff gibt es nur nach Need-to-know, und alle Mitarbeitenden sind zur Vertraulichkeit verpflichtet.

Gibt es einen Auftragsverarbeitungsvertrag mit Regeln für KI?

Worauf Sie achten sollten

Ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO ist Pflicht. Für KI lohnt sich ein Blick auf Zusatzregeln: Wofür darf die KI eingesetzt werden, werden Sie über die eingesetzten KI-Systeme informiert, gibt es Maßnahmen gegen Verzerrungen, und unterstützt der Anbieter Sie bei Auskunfts- und Löschanfragen? Dazu gehören eine Übersicht der technischen und organisatorischen Maßnahmen und ein Prüfrecht für Sie.

So beantwortet es T5.Knowledge

Mit jedem Kunden besteht ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, ergänzt um ein KI-Addendum und eine Übersicht der technischen und organisatorischen Maßnahmen. Das KI-Addendum regelt: KI nur für vereinbarte Zwecke, vorab Information über eingesetzte KI-Systeme, Maßnahmen gegen Verzerrungen, regelmäßige Überprüfung, eine nachvollziehbare und auditierbare Verarbeitung und Unterstützung bei Betroffenenrechten nach Art. 15 bis 22 DSGVO. Kunden können die Einhaltung prüfen, auch durch Inspektionen nach Anmeldung. Die Vorlage erhalten Sie auf Anfrage.

Welche Zertifizierungen und Nachweise gibt es?

Worauf Sie achten sollten

Trennen Sie die Zertifizierungen des Anbieters von denen seines Rechenzentrums. Ein nach ISO 27001 zertifiziertes Rechenzentrum sagt etwas über Gebäude, Strom und Zutritt aus, aber nicht automatisch über die Prozesse des Softwareanbieters. Fragen Sie nach Zertifikaten, nach Audits und nach Penetrationstests.

So beantwortet es T5.Knowledge

TensorFive ist nach ISO 9001 zertifiziert, die Zertifizierung nach ISO 27001 ist in Vorbereitung. Das Rechenzentrum in Mainz, betrieben von Synaforce, ist nach ISO 27001 und BSI C5 zertifiziert. Sicherheitsmaßnahmen und Penetrationstests werden regelmäßig durch interne oder externe Audits geprüft. Alle Nachweise im Überblick zeigt das Trust Center.

Quellen

  1. Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode, Version 1.0, Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK), Stand Oktober 2025. Abgerufen am 15.10.2026.
  2. Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), insbesondere Art. 9, Art. 15 bis 22 und Art. 28, Amtsblatt der Europäischen Union. Abgerufen am 15.10.2026.
  3. Kriterienkatalog C5 (Cloud Computing Compliance Criteria Catalogue), Bundesamt für Sicherheit in der Informationstechnik (BSI). Abgerufen am 15.10.2026.
  4. Trust Center: Sicherheit und Datenschutz bei TensorFive, TensorFive GmbH, Grundlage: Auftragsverarbeitungsvertrag mit KI-Addendum und Übersicht der technischen und organisatorischen Maßnahmen, Stand 15.10.2026. Abgerufen am 15.10.2026.

Weiterlesen