KI mit eigenen Daten füttern: Training, Fine-Tuning oder RAG?

Drei Wege im Überblick

Ein Sprachmodell hat beim Training sehr viel öffentlich verfügbaren Text gesehen. Ihre Angebote, Handbücher, Verträge und Projektunterlagen kennt es nicht. Um das zu ändern, gibt es drei grundsätzlich verschiedene Wege.

Man kann sich das Sprachmodell als Kristall vorstellen: Alles, was es gelernt hat, ist in ihm eingeschlossen. Es kann daraus formulieren, aber es weiß nicht mehr, aus welchem Text eine einzelne Aussage stammt. Daneben steht eine Bibliothek, in der Ihre Dokumente einzeln im Regal stehen und sich jederzeit nachschlagen, austauschen oder entfernen lassen.

Training: Wissen verschmilzt mit dem Modell

Beim Training oder Nachtraining lernt das Modell aus Ihren Dokumenten, so wie es vorher aus öffentlichen Texten gelernt hat. Danach steckt das Wissen in den Gewichten des Modells. Das Modell kann es wiedergeben, aber nicht belegen, und es vergisst nichts gezielt. Für ein Unternehmen bedeutet Training außerdem großen Aufwand: viele aufbereitete Daten, viel Rechenzeit und Fachleute, die den Prozess begleiten.

Fine-Tuning: ein Stil-Ring um das Modell

Fine-Tuning ist eine leichtere Form des Nachtrainings. Mit einigen hundert oder tausend Beispielen lernt das Modell, in einem bestimmten Ton, Format oder Fachjargon zu antworten. Fakten sitzen damit nicht verlässlich. Das Fraunhofer-Institut IESE rät ausdrücklich davon ab, Fine-Tuning einzusetzen, um einem Sprachmodell Wissen anzutrainieren. Für Tonalität und feste Antwortformate kann es dagegen sinnvoll sein.

RAG: Das Modell schlägt nach

Retrieval Augmented Generation, kurz RAG, lässt das Modell unverändert. Bei jeder Frage sucht ein vorgeschaltetes System die passenden Abschnitte aus Ihren Dokumenten heraus und legt sie dem Modell zusammen mit der Frage vor. Das Modell formuliert die Antwort aus diesen Abschnitten und kann sie als Quelle nennen. Die Datenschutzkonferenz beschreibt das so: Im Gegensatz zu den im Modell erlernten Informationen lassen sich die Informationen in der Vektordatenbank einfach aktualisieren, löschen und beauskunften.

Was passiert, wenn sich etwas ändert?

Unternehmenswissen ändert sich ständig: Preise, Ansprechpartner, Richtlinien, Produktstände. Der Unterschied zwischen den Wegen zeigt sich deshalb am deutlichsten bei einer einfachen Änderung. Nehmen wir an, der Preis für ein Produkt steigt von 100 auf 120 Euro.

Ein trainiertes Modell nennt weiter den alten Preis, bis es neu trainiert ist. Bis dahin ist jede Antwort zu diesem Thema veraltet, und niemand bemerkt es, weil das Modell keine Quelle angibt. Bei RAG tauscht man das Dokument aus. Sobald es neu eingelesen ist, stimmt die nächste Antwort, und die Quelle steht dabei.

Was passiert bei einer Löschanfrage?

Personenbezogene Daten müssen gelöscht werden können, etwa wenn eine betroffene Person ihr Recht auf Löschung wahrnimmt oder eine Aufbewahrungsfrist abläuft. Aus einem trainierten Modell lässt sich eine einzelne Information nicht gezielt herausnehmen. Die Datenschutzkonferenz hält fest, dass die Probleme bei der Datenlöschung im Sprachmodell bestehen bleiben.

In einem RAG-System liegen die Inhalte dagegen als Referenzdokumente und Einträge der Vektordatenbank vor. Diese Einträge sind direkt adressierbar und damit gezielt löschbar, so die Orientierungshilfe in Abschnitt 3.5. Bei T5.Knowledge heißt das konkret: Ein gelöschtes Dokument entfernt T5.Knowledge vollständig, also Datensatz, Suchvektoren und Graph-Einträge. Das gilt beim Löschen über die API und für Dokumente, die in der Quelle gelöscht wurden, ab dem nächsten Abgleich.

Wer darf was wissen?

In jedem Unternehmen dürfen nicht alle alles sehen. Gehaltsbänder sind Sache des Personalwesens, Strategiepapiere der Geschäftsführung. Ein Sprachmodell kennt solche Grenzen nicht: Was es gelernt hat, erzählt es jedem, der danach fragt.

Die Datenschutzkonferenz beschreibt den Unterschied in Abschnitt 3.3 ihrer Orientierungshilfe: Im Sprachmodell selbst lässt sich nicht steuern, wer auf welche Information zugreift. Im RAG-Teil greifen dagegen bewährte Maßnahmen wie Mandantentrennung und ein Rechte- und Rollenkonzept. Bei T5.Knowledge tragen Dokumente die aus der Quelle übernommenen Rechte, also Nutzer und Microsoft-365-Gruppen. Die Suche zeigt nur Treffer, die der fragende Nutzer sehen darf, und ein Dokument ohne Rechteangabe sieht niemand.

Vergleich auf einen Blick

Die Tabelle fasst die drei Wege zusammen. Sie beschreibt die Verfahren allgemein, nicht einzelne Produkte.

Die Einordnung beim Datenschutz folgt der Orientierungshilfe der Datenschutzkonferenz. Die Bewertung im Einzelfall liegt beim Verantwortlichen.

Welcher Weg passt?

Vier Fragen genügen für eine erste Orientierung. Probieren Sie die Schalter aus: Die Empfehlung folgt sofort.

In der Praxis lautet die Antwort für Unternehmenswissen fast immer RAG. Fine-Tuning kann zusätzlich sinnvoll sein, wenn Antworten einem festen Format folgen oder einen bestimmten Ton treffen sollen. Eine Studie aus dem Jahr 2024 beobachtet, dass beide Verfahren die Ergebnisse unabhängig voneinander verbessern können. Ein eigenes Training lohnt sich für ein einzelnes Unternehmen dagegen nur selten.

So arbeitet T5.Knowledge

T5.Knowledge, die Wissenssuche hinter der RAG API von TensorFive, folgt dem RAG-Prinzip:

• Kein Training mit Ihren Daten: Kundendaten werden nicht zu eigenen Zwecken genutzt, also kein Training, kein Profiling, keine Werbung.
• Eigene Modelle in Mainz: Standardmäßig verarbeitet T5.Knowledge Inhalte mit selbst betriebenen Modellen im TensorFive-Rechenzentrum in Mainz; nur wenn Lastspitzen die Kapazität dort übersteigen, übernimmt vorübergehend STACKIT Model Serving, ein im Auftragsverarbeitungsvertrag genannter Unterauftragnehmer. Das Embedding-Modell ist Qwen3-Embedding-4B, ein offen verfügbares Modell, das TensorFive selbst betreibt; Daten gehen nicht an den Hersteller. Laut Hersteller ist es mehrsprachig und auch für Deutsch geeignet.
• Quellen bei jeder Antwort: Zu jeder Wissenssuche liefert T5.Knowledge die verwendeten Dokumente. T5.Chat zeigt sie als anklickbare Karten.
• Rechte beim Nachschlagen: Dokumente tragen die aus der Quelle übernommenen Rechte, und die Suche zeigt nur Treffer, die der fragende Nutzer sehen darf.
• Vollständig löschbar: Ein gelöschtes Dokument entfernt T5.Knowledge mit Datensatz, Suchvektoren und Graph-Einträgen.

Wie Sie eine RAG-Lösung auf Datenschutz, Rechte und Betrieb prüfen, zeigen die zehn Prüffragen für eine sichere RAG-Lösung.