RAG (Retrieval-Augmented Generation): einfach erklärt

RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „Antworten mit nachgeschlagenem Wissen“. Das System sucht vor jeder Antwort die passenden Stellen in deinen eigenen Dokumenten heraus und gibt sie dem KI-Modell mit. So antwortet die KI mit deinem Wissen statt nur mit Allgemeinwissen.

Warum es RAG braucht

Ein Sprachmodell kennt nur, was in seinen Trainingsdaten stand. Deine Preisliste, deine Verträge oder dein Qualitätshandbuch gehören nicht dazu. Fragt man es trotzdem danach, rät es. Das Ergebnis klingt überzeugend, kann aber falsch sein.

Man könnte alle Dokumente in jede Anfrage packen. Das wird schnell teuer und langsam, weil das Modell nach Token abrechnet und nur begrenzt viel Text auf einmal lesen kann. RAG löst das: Es gibt dem Modell nur die Abschnitte, die zur Frage passen.

So funktioniert RAG in drei Schritten

1. Vorbereiten. Deine Dokumente werden in Abschnitte zerlegt und so gespeichert, dass man sie nach Bedeutung durchsuchen kann, nicht nur nach exakten Wörtern.
2. Suchen. Kommt eine Frage, sucht das System die passendsten Abschnitte heraus.
3. Antworten. Das Modell bekommt die Frage zusammen mit diesen Abschnitten und formuliert daraus die Antwort, idealerweise mit Angabe der Quelle.

Beispiel aus dem Unternehmensalltag

Ein Industriebetrieb hat Hunderte Seiten Wartungsanleitungen und Prüfanweisungen. Ein neuer Mitarbeiter fragt: „Wie oft muss die Hydraulik an Presse 3 geprüft werden?“

Ohne RAG antwortet die KI mit einem allgemeinen Richtwert. Mit RAG findet das System die richtige Stelle im Wartungshandbuch dieser Presse. Die Antwort nennt das Intervall und verlinkt das Dokument, sodass der Mitarbeiter nachlesen kann.

Was RAG gut kann und was nicht

Gut geeignet	Weniger geeignet
Fragen zu Handbüchern, Richtlinien, Verträgen	Rechnen über große Tabellen
Antworten mit Quellenangabe	Dokumente, die sich widersprechen oder veraltet sind
Wissen, das sich öfter ändert	Fragen, deren Antwort in keinem Dokument steht

RAG ist nur so gut wie die Dokumente dahinter. Liegen fünf Versionen derselben Preisliste im Ordner, findet das System womöglich die falsche. Vor dem Start lohnt es sich deshalb, aufzuräumen und festzulegen, welche Quelle gilt.

RAG und Datenschutz

Bei RAG bleiben deine Dokumente in deinem Speicher. Das Modell sieht pro Anfrage nur die herausgesuchten Abschnitte. Wer was finden darf, lässt sich über Rechte steuern, zum Beispiel getrennt nach Abteilung oder Mandant. Wie wir Modelle und Cloud datenschutzkonform einrichten, steht auf der Seite Technologien.

RAG in KI-Agenten

Viele KI-Agenten nutzen RAG, um im Hintergrund nachzuschlagen. Ein Agent im Kundenservice findet so die passende Passage aus den Lieferbedingungen, bevor er eine Antwort entwirft. Unsere Unternehmens-KI Vicki verbindet auf diese Weise beliebige Datenquellen.