Was braucht man für ein RAG-System?

Drei Bausteine: eine Ingestion-Pipeline, die Dokumente einliest und in Abschnitte zerlegt; eine Vektordatenbank, die diese Abschnitte nach Bedeutung indexiert; und ein Sprachmodell, das aus den gefundenen Abschnitten die Antwort formuliert. Dazu in der Praxis: ein Rechtekonzept, damit jeder nur sieht, was er sehen darf.

Ist RAG DSGVO-konform umsetzbar?

Ja. Alle drei Bausteine — Vektordatenbank, Embedding-Modell und Sprachmodell — können selbst gehostet im europäischen Rechtsraum betrieben werden. Dann verlassen die Dokumente das Unternehmen nicht.

Grundlagen August 2026 7 Min. Lesezeit

RAG einfach erklärt: KI-Antworten aus den eigenen Dokumenten — mit Quelle

Q: Was ist RAG (Retrieval-Augmented Generation)?

RAG ist ein Verfahren, bei dem eine KI vor dem Antworten zuerst die passenden Stellen in den eigenen Dokumenten sucht (Retrieval) und die Antwort dann nur aus diesen Fundstellen formuliert (Generation). Das Ergebnis: Antworten aus dem eigenen Wissensbestand, belegbar mit Quellenangabe — statt plausibel klingender Vermutungen aus dem Modelltraining.

Q: Warum halluzinieren Sprachmodelle ohne RAG?

Ein Sprachmodell kennt nur sein Trainingswissen und erzeugt die statistisch wahrscheinlichste Fortsetzung eines Textes. Zu firmenspezifischen Fragen hat es keine Daten — es formuliert dann trotzdem eine flüssige Antwort, die falsch sein kann. RAG schließt diese Lücke, indem es dem Modell die echten Firmen-Dokumente als Grundlage mitgibt.

RAG steht für Retrieval-Augmented Generation und heißt übersetzt: Die KI sucht zuerst die passenden Stellen in Ihren Dokumenten — und formuliert die Antwort dann nur daraus, mit Quellenangabe. RAG ist der Baustein, der aus einem Sprachmodell ein verlässliches Werkzeug für Firmenwissen macht. Hier ist die Erklärung ohne Fachchinesisch.

Das Problem: Sprachmodelle klingen sicher — auch wenn sie raten

Ein Sprachmodell wie GPT oder Claude hat im Training riesige Textmengen gesehen und erzeugt daraus die wahrscheinlichste Fortsetzung eines Textes. Das funktioniert erstaunlich gut — bis man etwas fragt, das nicht im Training vorkam. Zum Beispiel: Was haben wir Kunde Müller im März angeboten? Das Modell kennt weder Kunde Müller noch das Angebot. Trotzdem antwortet es — flüssig, überzeugend und möglicherweise komplett erfunden. Das nennt man Halluzination.

Für den Firmeneinsatz ist das inakzeptabel. Eine Antwort, die man nicht prüfen kann, ist keine Antwort — sie ist ein Risiko.

Die Lösung: erst suchen, dann antworten

RAG dreht den Ablauf um. Statt das Modell aus dem Gedächtnis antworten zu lassen, bekommt es die relevanten Original-Dokumente als Arbeitsgrundlage:

Frage verstehenDie Frage wird in einen Bedeutungs-Vektor übersetzt (Embedding) — eine mathematische Darstellung dessen, was gemeint ist, unabhängig vom Wortlaut.

Passende Stellen finden (Retrieval)Die Vektordatenbank findet die Dokument-Abschnitte, deren Bedeutung der Frage am nächsten ist — auch wenn dort ganz andere Wörter stehen. Ein Ordner-Suchfeld findet nur Wortlaut; RAG findet Sinn.

Antwort formulieren (Generation)Das Sprachmodell bekommt die gefundenen Abschnitte und die Anweisung, NUR daraus zu antworten. Kein Treffer im Bestand? Dann lautet die korrekte Antwort: dazu liegt nichts vor — statt einer Erfindung.

Quelle mitliefernZu jeder Antwort gehört der Verweis auf das Ursprungsdokument. Damit ist jede Aussage in Sekunden nachprüfbar — das ist der Unterschied zwischen einem Spielzeug und einem Arbeitswerkzeug.

In einem Satz: RAG = die KI liest vor dem Antworten in Ihren Unterlagen nach — und zeigt, wo sie es gelesen hat.

Was man dafür braucht

Ingestion-Pipeline: liest Dokumente ein (PDF, E-Mail, Protokolle, Wiki …), zerlegt sie in sinnvolle Abschnitte und hält sie aktuell.
Vektordatenbank: speichert die Abschnitte als Bedeutungs-Vektoren und findet in Millisekunden die passendsten.
Sprachmodell: formuliert die Antwort aus den Fundstellen. Kann per API laufen — oder selbst gehostet, dann verlassen die Dokumente das Haus nicht.
Rechteschicht: in der Praxis unverzichtbar — wer fragt, darf nur Antworten aus Dokumenten bekommen, die er auch sehen dürfte.

Wo die Grenzen liegen

RAG ist kein Zauberstab. Drei ehrliche Einschränkungen aus der Praxis:

Müll rein, Müll raus: Sind die Quelldokumente veraltet oder widersprüchlich, sind es die Antworten auch — nur schneller auffindbar. Datenpflege bleibt Arbeit.
Rechnen und Aggregieren: Fragen wie Wie hat sich unser Umsatz je Quartal entwickelt? beantwortet RAG nur gut, wenn die Zahlen als solche vorliegen — für echte Auswertungen gehört eine Datenbank-Anbindung dazu, kein Dokumenten-Retrieval.
Abschnitts-Grenzen: Zusammenhänge, die sich über viele Dokumente verteilen, brauchen mehr als naives Retrieval — etwa mehrstufige Suche oder einen Agenten, der nachfasst.

RAG in der Praxis: unser Ansatz

Unser Wissenssystem Atlas ist ein RAG-System, wie es hier beschrieben ist — selbst gehostet, mit Quellenangabe zu jeder Antwort und Mandantentrennung. Es ist der Kern unserer Spezialisierung auf KI-Wissensmanagement; die technische Basis (Vektordatenbanken, Model-Serving, Observability) beschreibt Digitale AI-Infrastruktur.

Häufige Fragen

Was ist RAG?

Retrieval-Augmented Generation: Die KI sucht vor dem Antworten die passenden Stellen in den eigenen Dokumenten und formuliert die Antwort nur daraus — mit Quellenangabe.

Warum halluzinieren Sprachmodelle ohne RAG?

Weil sie ohne Zugriff auf Firmendaten die statistisch wahrscheinlichste Antwort erzeugen — flüssig formuliert, aber ohne Faktenbasis. RAG gibt ihnen die echten Dokumente als Grundlage.

Was braucht ein RAG-System?

Ingestion-Pipeline, Vektordatenbank, Sprachmodell — plus Rechtekonzept. Alle Bausteine können selbst gehostet betrieben werden.

Ist das DSGVO-konform machbar?

Ja — selbst gehostet im europäischen Rechtsraum verlassen die Dokumente das Unternehmen nicht.

Sie wollen Antworten aus Ihren eigenen Dokumenten?

Wir zeigen Ihnen an Ihren echten Unterlagen, wie ein RAG-System für Ihr Unternehmen aussieht — ehrlich, inklusive der Grenzen.

Gespräch vereinbaren