RAG: KI, die aus deinen eigenen Daten antwortet

Was ist Retrieval-Augmented Generation?

Ein klassisches KI-Sprachmodell antwortet aus seinem Trainings-Gedächtnis. Es hat Milliarden von Texten verarbeitet und kann damit Sprache überzeugend erzeugen, kennt aber deine internen Dokumente, aktuellen Preislisten oder firmeneigenen Prozesse nicht. Retrieval-Augmented Generation, kurz RAG, löst genau dieses Problem.

Das Prinzip stammt aus dem Forschungspapier von Patrick Lewis et al., das 2020 bei der NeurIPS-Konferenz vorgestellt wurde. Die Kernidee: Bevor das Sprachmodell antwortet, schlägt ein Suchmechanismus in einer eigenen Wissenssammlung nach und reicht die gefundenen Textstellen als Kontext an das Modell weiter. Die Antwort ist damit an eine konkrete, prüfbare Quelle geknüpft, nicht an statistische Muster.

Wie funktioniert RAG technisch?

Der Ablauf lässt sich in drei Schritte gliedern.

Zuerst werden deine Dokumente, zum Beispiel Handbücher, Vertragsvorlagen oder Ausschreibungsunterlagen, in kleine Abschnitte zerlegt und durch eine Embedding-Schnittstelle in mathematische Vektoren umgewandelt. Diese Vektoren landen in einer lokalen Vektordatenbank. Sie speichert nicht den Originaltext als Datensatz, sondern die semantische Bedeutung jedes Abschnitts als Zahlenvektor.

Kommt eine Anfrage herein, wird auch die Frage in einen Vektor umgewandelt. Eine semantische Suche vergleicht diesen Frage-Vektor mit allen gespeicherten Abschnittsvektoren und findet die inhaltlich passendsten Stellen, selbst wenn die exakten Wörter nicht übereinstimmen. Das ist ein entscheidender Vorteil gegenüber einer klassischen Schlüsselwortsuche: Wer nach "Kündigungsfrist" fragt, findet auch Abschnitte, die von "Vertragsende" handeln.

Im dritten Schritt erhält das Sprachmodell nur diese relevanten Textabschnitte als Kontext und formuliert daraus eine Antwort. Idealerweise verweist es dabei auf die genaue Quelle, aus der die Information stammt.

Was kostet eine Halluzination im Unternehmensalltag?

Halluzinationen sind kein akademisches Problem. Für Unternehmen entstehen sie dort, wo ein Sprachmodell ohne Zugriff auf aktuelle, eigene Daten Fakten konstruiert, die plausibel klingen, aber schlicht falsch sind. Die Folgen sind je nach Kontext unterschiedlich schwerwiegend.

Drei plausible Szenarien verdeutlichen das Risiko:

Ein Angebotsteam fragt das KI-System nach dem aktuellen Listenpreis eines Produkts. Das Modell, dessen Training Monate zurückliegt, nennt einen veralteten Wert. Das Angebot geht raus, der Preis stimmt nicht, und entweder folgt eine peinliche Korrektur oder ein Verlustgeschäft. Bei einem RAG-System hätte das Modell stattdessen direkt in der aktuellen Preisliste nachgeschlagen und den belegbaren Preis mit Quellenangabe zurückgegeben.

Ein Mitarbeitender fragt das System nach der internen Richtlinie zur Datenlöschung, weil ein Kunde sein Recht auf Vergessenwerden geltend macht. Ohne Zugriff auf das aktuelle Datenschutz-Handbuch erfindet das Modell eine plausibel klingende Frist. Stimmt sie nicht mit dem tatsächlichen Prozess überein, droht eine DSGVO-konforme Reaktion zu scheitern. Mit RAG hätte die Antwort exakt auf dem geprüften Dokument beruht, inklusive des Verweises auf den entsprechenden Abschnitt.

Ein technischer Berater erstellt auf Basis eines KI-Entwurfs eine Spezifikation für einen Kunden. Das Modell kombiniert Informationen aus dem allgemeinen Training und gibt einen Grenzwert an, der in den firmeneigenen Produktdatenblättern so nicht steht. Der Fehler fällt erst auf, wenn der Kunde das Datenblatt prüft. Mit RAG wäre der Grenzwert direkt aus dem aktuellen Datenblatt entnommen und rückverfolgbar gewesen.

Diese Szenarien sind illustrativ, beschreiben aber Risikofelder, die in der Fachliteratur und Unternehmenspraxis dokumentiert sind. Lewis et al. (NeurIPS 2020) zeigen, dass RAG-Modelle nachweislich spezifischere und faktisch genauere Ausgaben erzeugen als rein parametrische Modelle, weil die Antwort aus abgerufenen Textstellen konstruiert wird, nicht aus statistischen Mustern. Microsoft beschreibt es für die Praxis direkt: RAG ermöglicht einen kontrollierten Informationsfluss und minimiert Erfindungen, indem jede Antwort an eine verifizierbare Quelle geknüpft ist.

Warum ist das für Unternehmen vertrauenswürdiger?

Bei einem RAG-System gilt: Wenn der gesuchte Sachverhalt in keinem deiner Dokumente steht, kann das System das transparent melden, anstatt eine Antwort zu konstruieren. Das ist in einem Unternehmenskontext ein wesentlicher Unterschied zu einem reinen Sprachmodell, das keine eigene Wissensbasis hat und stattdessen aus statistischen Trainingsmustern schöpft.

Dazu kommt die Nachvollziehbarkeit. Jede Antwort lässt sich auf den Quelldokumentabschnitt zurückführen. Mitarbeitende können prüfen, worauf sich das System stützt, und die Aussage bei Bedarf im Originaldokument verifizieren. Das schafft ein anderes Vertrauen als eine Antwort ohne Herkunftsnachweis. Microsoft nennt diese Eigenschaft ausdrücklich als zentrales Merkmal vertrauenswürdiger KI-Systeme für Hochrisikobereiche wie Recht, Compliance und Finanzen.

Wie bleibt RAG datenschutzkonform?

Datenschutz ist bei KI-Systemen für viele Unternehmen die entscheidende Frage. RAG hat hier einen strukturellen Vorteil gegenüber Ansätzen, bei denen Unternehmensdaten direkt in ein fremdes Modell fließen.

Die Dokumente selbst und die Vektordatenbank liegen auf deiner eigenen Infrastruktur oder in einem EU-Rechenzentrum, das du vertraglich kontrollierst. Für die Umwandlung der Texte in Vektoren nutzt du eine datenschutzkonforme, EU-gehostete Embedding-Schnittstelle, mit der du eine Auftragsverarbeitungsvereinbarung nach Art. 28 DSGVO schließt. Das Sprachmodell bekommt pro Anfrage nur die relevanten Textstellen und nicht deine gesamte Wissensbasis übermittelt.

Entscheidend: Deine Dokumente trainieren kein fremdes Modell. Sie bleiben in deiner Hoheit und werden lediglich zur Beantwortung einer konkreten Anfrage genutzt.

Die Datenschutzkonferenz (DSK) hat in ihrer Orientierungshilfe zu RAG-Systemen (2025) konkrete technische und organisatorische Empfehlungen für den datenschutzkonformen Betrieb formuliert. Kernpunkte sind: Daten sollten nur für den definierten Zweck verarbeitet werden und nicht uneingeschränkt an externe Dienstleister übertragen werden. Die Verarbeitungsinfrastruktur ist so zu gestalten, dass personenbezogene Daten innerhalb der eigenen Hoheit verbleiben. Verantwortliche müssen eine datenschutzrechtliche Risikoabwägung vornehmen, die Rechtsgrundlage für die Verarbeitung dokumentieren und technisch-organisatorische Maßnahmen aktuell halten. RAG-Systeme können nach Einschätzung der DSK so konfiguriert werden, dass keine Übermittlung personenbezogener Daten an Dritte wie Hyperscaler stattfindet. Die konkrete Umsetzung obliegt jedoch immer dem verantwortlichen Unternehmen und ist im Einzelfall zu bewerten.

Welche Anwendungen eignen sich im Mittelstand?

RAG entfaltet seinen Nutzen überall dort, wo Wissen in Dokumenten steckt, aber schwer zugänglich ist. Der Unterschied zum Status quo ist in drei typischen Bereichen greifbar.

Bei der Bearbeitung von Ausschreibungen durchsucht ein RAG-System hunderte Seiten Vergabeunterlagen in Sekunden semantisch und liefert die antwortrelevanten Abschnitte direkt, inklusive Quellenangabe. Das Team muss nicht mehr manuell durch PDF-Stapel navigieren, sondern bekommt die Stellen vorgeschlagen, die für Eignungsnachweise, Technische Anforderungen oder Fristen relevant sind. Weniger Suchaufwand bedeutet weniger Raum für Lesefehler und schnellere Reaktionszeiten. Mehr dazu, wie das in der Praxis aussieht, beschreibt der Beitrag zur Prozessautomatisierung.

Bei internen Wissensdatenbanken verändert sich die Qualität der Antworten grundlegend. Statt einer Schlüsselwortsuche, die nur Dokumente listet, beantwortet das System konkrete Fachfragen auf Basis der tatsächlichen Inhalte deiner Handbücher, Prozessbeschreibungen und technischen Dokumentationen. Jede Antwort kommt mit Quellenbeleg, sodass Mitarbeitende nicht raten müssen, ob die Information aktuell ist, sondern direkt zum Originaldokument springen können.

Im Kundensupport schlägt das System die relevante Passage aus der Produktdokumentation oder den FAQ direkt vor. Der Mitarbeitende prüft, ob die Antwort passt, und antwortet dann fundiert. Das reduziert die Zeit, die für das Suchen aufgewendet wird, und senkt das Risiko, dass veraltete oder falsche Informationen weitergegeben werden, weil das System immer auf dem aktuellen Stand der eingepflegten Dokumente operiert.

Quellen: Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", arXiv 2005.11401, NeurIPS 2020. Microsoft Azure, "RAG and Generative AI", Microsoft Learn (2026). Microsoft Cloud Blog, "5 key features and benefits of retrieval augmented generation", Februar 2025. Datenschutzkonferenz (DSK), "Orientierungshilfe zu KI-Systemen mit Retrieval Augmented Generation", 2025. Stand August 2026.

Häufige Fragen