Retrieval Augmented Generation (RAG) ist ein KI-Verfahren, das ein KI-Sprachmodell (LLM) mit einer Wissensdatenbank verknüpft, um kontextbezogene und aktuelle Antworten zu generieren.
Anstatt sich auf die ursprünglichen Trainingsdaten des Sprachmodells zu verlassen, kann die KI mithilfe von RAG externe Dokumente, Datenbanken, Bilder und andere Quellen in die Antwort einbeziehen. Bevor die KI antwortet, schaut sie also zunächst in den bereitgestellten Quellen nach.
Wie die Architektur technisch aufgebaut ist, von Chunking über Vektordatenbanken bis zur Ähnlichkeitssuche, erklärt unser Glossareintrag zu RAG.
Retrieval Augmented Generation (RAG) ermöglicht es KI-Sprachmodellen, externe Wissensquellen gezielt abzurufen und für präzisere, kontextbezogene Antworten zu nutzen. Daraus ergeben sich drei Vorteile:
Da KI-Sprachmodelle ihre Antworten auf die bereitgestellten Dokumente stützen müssen, sinkt das Risiko frei erfundener Fakten deutlich.
Wissen, das nicht Teil des ursprünglichen Trainings der KI war, lässt sich über RAG ergänzen, zum Beispiel Nutzervorlieben, Anleitungen oder Verträge.
KI-Modelle werden einmalig trainiert und bereitgestellt. Mit RAG erhalten sie zusätzlichen Kontext, der bei jeder Abfrage berücksichtigt wird.
Mit Retrieval Augmented Generation (RAG) lassen sich unterschiedlichste Datenquellen an KI-Sprachmodelle anbinden. Neben klassischen Dokumenten können auch Informationen aus Unternehmenssystemen wie ERP, CRM oder Datenbanken berücksichtigt werden. Voraussetzung ist, dass die Daten technisch zugänglich sind und für die Verarbeitung durch das Sprachmodell aufbereitet werden können.
In der Praxis lassen sich die Datenquellen in drei Kategorien unterteilen:
Wie die Daten angebunden werden, hängt von der jeweiligen Quelle ab. Während Dokumente häufig in kleinere Abschnitte aufgeteilt und über eine Vektordatenbank durchsuchbar gemacht werden, können strukturierte Informationen aus ERP- oder CRM-Systemen auch gezielt über Schnittstellen und Datenbankabfragen abgerufen werden. Beide Verfahren lassen sich innerhalb einer RAG-Anwendung kombinieren.
| Datenquelle | Beispiele | |
|---|---|---|
| 1.Dokumente und Wissensquellen | ||
| 1.Dokumente und Wissensquellen | Dokumente | PDF, Word, PowerPoint, TXT, Markdown |
| Wissensplattformen | SharePoint, Confluence, Notion, interne Wikis | |
| Kommunikation | Outlook, Gmail, Microsoft Teams, Slack | |
| Supportsysteme | Jira, Zendesk, interne Ticketsysteme | |
| 2.Unternehmenssysteme und strukturierte Daten | ||
| 2.Unternehmenssysteme und strukturierte Daten | ERP-Systeme | SAP, Microsoft Dynamics, Business Central, Odoo |
| CRM-Systeme | Salesforce, HubSpot, Microsoft Dynamics | |
| Datenbanken | PostgreSQL, MySQL, MongoDB, SQL Server, interne Server | |
| Tabellen | Excel, CSV, Google Sheets | |
| 3.Externe und aktuelle Datenquellen | ||
| 3.Externe und aktuelle Datenquellen | Websites | Unternehmenswebsites, öffentliche Wissensportale |
| Web-Schnittstellen | Externe APIs, Wetterdaten, Finanzmarktdaten, ökonomische Daten | |
| Suchmaschinen | Google Search, Bing Search | |
| Nachrichtenquellen | RSS-Feeds, Nachrichtenportale | |
Unternehmenswissen liegt in unterschiedlichen Formaten vor. Die meisten Unternehmens-KPIs liegen in relationalen Datenbanken wie einem ERP-, CRM- oder DWH-System. Die Anbindung relationaler Datenbanken an Retrieval Augmented Generation (RAG) unterscheidet sich von der Verarbeitung klassischer Dokumente. Während Dokumente wie PDFs meist über eine semantische Suche durchsucht werden, enthalten Datenbanken strukturierte Informationen, die häufig miteinander verknüpft sind.
Um diese Informationen für KI-Sprachmodelle nutzbar zu machen, gibt es drei technische Ansätze:
Bei Text-to-SQL übersetzt ein KI-Sprachmodell die Frage des Nutzers automatisch in eine SQL-Abfrage. Diese wird auf der angebundenen Datenbank ausgeführt und das Ergebnis anschließend vom Sprachmodell als Antwort aufbereitet.
Beispielsweise könnte ein Geschäftsführer fragen: „Wie viel Umsatz haben wir im vergangenen Monat mit Produkt X erzielt?“ Die KI erstellt die passende Datenbankabfrage, ruft die Umsatzzahlen ab und gibt sie als Antwort oder grafisch aufbereitet zurück. Besonders für Unternehmenscontrolling und Reporting bietet dieser Ansatz viele Anwendungsmöglichkeiten.
Bei diesem Ansatz werden textbasierte Informationen aus einer relationalen Datenbank in sogenannte Embeddings umgewandelt. Diese ermöglichen es, Informationen anhand ihrer inhaltlichen Bedeutung zu finden, anstatt ausschließlich nach bestimmten Begriffen zu suchen.
Über Open-Source-Vektordatenbanken wie pgvector oder in Azure AI Foundry lässt sich dies gut umsetzen. Dadurch können klassische Datenbankabfragen mit einer semantischen Suche kombiniert werden. Beispielsweise könnte ein Nutzer nach Produkten suchen, deren Beschreibung zu einer bestimmten Anforderung passt und die gleichzeitig weniger als 50 Euro kosten.
Bei Graph RAG werden Informationen und ihre Beziehungen zueinander in einem sogenannten Knowledge Graph abgebildet. Hierfür können beispielsweise bestehende Tabellen und Fremdschlüsselbeziehungen aus relationalen Datenbanken verwendet werden.
Technologien wie Neo4j ermöglichen es, diese Zusammenhänge gezielt abzufragen. So könnte ein Mitarbeiter beispielsweise fragen: „Welche Kunden haben Produkte gekauft, die vom selben Lieferanten wie Produkt Y stammen?“ Die KI kann die Beziehungen zwischen Kunden, Produkten und Lieferanten berücksichtigen und daraus eine Antwort generieren.
Für die Entwicklung solcher Anwendungen werden häufig Frameworks wie LangChain oder LlamaIndex eingesetzt. Diese erleichtern die Anbindung von Datenbanken, die Verarbeitung von Nutzeranfragen und die Bereitstellung der abgerufenen Informationen für das KI-Sprachmodell.
Die verschiedenen Ansätze lassen sich auch miteinander kombinieren. Welche Technologie eingesetzt wird, hängt insbesondere von der Struktur der vorhandenen Daten und den gewünschten Anwendungsfällen ab.
rwQUANTICAL unterstützt Unternehmen bei der Entwicklung und Implementierung individueller RAG-Systeme. Unsere AI Engineers verbinden bestehende KI-Sprachmodelle mit Ihren internen Dokumenten, Datenbanken und Unternehmenssystemen. Dabei begleiten wir Sie von der ersten Anforderungsanalyse über die technische Umsetzung bis zum produktiven Betrieb.
Ob RAG für Ihren Anwendungsfall die richtige Technologie ist, prüfen wir gemeinsam im Rahmen unserer KI-Beratung.
Retrieval Augmented Generation (RAG) wird überall dort eingesetzt, wo KI-Anwendungen auf Wissen zugreifen müssen, das nicht in den ursprünglichen Trainingsdaten des Sprachmodells enthalten ist. Besonders in Unternehmen gibt es hierfür zahlreiche Anwendungsfälle:
Mitarbeiter können Fragen zu internen Prozessen, Richtlinien oder Anleitungen stellen und erhalten Antworten auf Basis der vorhandenen Unternehmensdokumente. Typische Anwendungsfälle sind KI-Onboarding-Chatbots oder interne Knowledge Platforms, die Mitarbeitern den Zugriff auf Unternehmenswissen erleichtern und zeitaufwendige Recherchen reduzieren.
Kundenanfragen werden mithilfe von Produktinformationen, Handbüchern oder FAQs automatisiert beantwortet. Hierzu greifen KI-Sprachmodelle auf unternehmenseigene Dokumente zu und liefern so aktuelle und kontextbezogene Antworten. Besonders im technischen Support beantworten RAG-basierte Chatbots auch komplexere Kundenfragen und entlasten die Mitarbeiter.
Verträge, technische Dokumentationen oder Berichte können mithilfe von KI durchsucht und ausgewertet werden. RAG ermöglicht es, gezielt Informationen aus großen Dokumentenbeständen abzurufen und für die weitere Verarbeitung bereitzustellen. Beispielsweise lassen sich Vertragsinhalte vergleichen, relevante Klauseln identifizieren oder technische Zusammenhänge aus mehreren Dokumenten zusammenfassen.
KI-Anwendungen können auf Informationen aus unterschiedlichen Unternehmenssystemen wie CRM, ERP oder SharePoint zugreifen und diese bei der Beantwortung von Fragen berücksichtigen. Auch im Unternehmenscontrolling ersetzen RAG-basierte KI-Agenten zunehmend das klassische, statische Reporting: Mitarbeiter fragen gezielt nach KPIs und erhalten diese als Antwort oder grafisch aufbereitet.
RAG stellt KI-Anwendungen das notwendige Hintergrundwissen bereit, um Geschäftsprozesse automatisiert zu bearbeiten. Beispielsweise können eingehende E-Mails anhand interner Richtlinien klassifiziert, Kundenanfragen den richtigen Ansprechpartnern zugeordnet oder Informationen aus verschiedenen Systemen zusammengeführt werden. Besonders in Kombination mit KI-Agenten lassen sich so auch komplexere Prozessabläufe automatisieren.
Ein typischer Anwendungsfall für RAG ist das interne Wissensmanagement. Mit Q-Know hat rwQUANTICAL eine eigene Software entwickelt, die Unternehmen dabei unterstützt, internes Wissen zentral zu erfassen und für KI-Anwendungen nutzbar zu machen. Mitarbeiter können Fragen zu internen Dokumenten, Richtlinien oder Geschäftsprozessen stellen und erhalten Antworten auf Basis der hinterlegten Informationen inklusive Quellenangaben.
Q-Know geht dabei über die klassische KI-Wissenssuche hinaus. Die Software erstellt automatisch Prozessdokumentationen und Ablaufdiagramme nach BPMN 2.0. Fehlende Informationen werden durch gezielte Rückfragen ergänzt und Widersprüche zwischen Dokumenten erkannt. Über kundenspezifische Schnittstellen können zudem bestehende Unternehmenssysteme wie ERP oder Data Warehouses eingebunden werden.
Mehr erfahren: Q-Know: KI-Wissensmanagement und Prozessdokumentation
Retrieval Augmented Generation (RAG) und Fine-Tuning sind zwei unterschiedliche Verfahren, um bestehende KI-Sprachmodelle an die Anforderungen eines Unternehmens anzupassen. Während beim Fine-Tuning das Sprachmodell durch zusätzliches Training verändert wird, stellt RAG dem Modell bei jeder Anfrage zusätzliche Informationen bereit. Beide Verfahren verfolgen damit unterschiedliche Ziele.
Vorbereitung
Nutzeranfrage
Sprachmodell
Antwort
einmalig
bei jeder Anfrage
Fine-Tuning
Das Sprachmodell lernt, wie es antworten soll.
Modell trainieren
Das Sprachmodell wird mit Beispielen trainiert, um einen bestimmten Sprachstil oder ein Antwortformat zu erlernen.
Frage stellen
Der Nutzer stellt eine Frage. Das Modell beantwortet diese anhand seiner trainierten Fähigkeiten.
Angepasstes Modell
Das Modell wurde durch zusätzliches Training verändert und verwendet die erlernten Antwortmuster.
Im gewünschten Stil
Die KI antwortet im trainierten Sprachstil, ohne automatisch auf aktuelle Unternehmensdaten zuzugreifen.
RAG
Das Sprachmodell erhält zusätzliche Informationen, um Fragen zu beantworten.
Datenquellen anbinden
Unternehmensdokumente, Datenbanken und andere Wissensquellen werden mit der KI-Anwendung verbunden.
Informationen abrufen
Zu jeder Frage werden passende Informationen aus den angebundenen Quellen gesucht und bereitgestellt.
Unverändertes Modell
Das Sprachmodell verarbeitet die Frage und die bereitgestellten Informationen, ohne zusätzlich trainiert zu werden.
Auf Basis der Quellen
Die KI beantwortet die Frage anhand der abgerufenen Informationen und kann die verwendeten Quellen angeben.
Kombination aus Fine-Tuning und RAG
Das Sprachmodell antwortet im gewünschten Stil und nutzt aktuelle Unternehmensinformationen.
Modell trainieren und Daten anbinden
Das Sprachmodell wird für den gewünschten Antwortstil trainiert. Zusätzlich werden Unternehmensdaten angebunden.
Informationen abrufen
Die KI sucht passende Informationen aus den angebundenen Quellen und ergänzt damit die Nutzerfrage.
Angepasstes Modell
Das trainierte Sprachmodell verarbeitet die bereitgestellten Informationen und formuliert die Antwort im gewünschten Stil.
Im gewünschten Stil mit Quellen
Die KI kombiniert den trainierten Sprachstil mit den abgerufenen Unternehmensinformationen.
Fine-Tuning verändert, wie ein Sprachmodell antwortet. RAG stellt zusätzliche Informationen bereit, auf deren Grundlage die Antwort generiert wird. Beide Verfahren können miteinander kombiniert werden.
Beim Fine-Tuning wird ein bereits trainiertes KI-Sprachmodell mit zusätzlichen Trainingsdaten weiterentwickelt. Hierfür werden häufig sogenannte Input-Output-Paare verwendet. Das Modell erhält beispielsweise eine Frage und die dazugehörige gewünschte Antwort. Durch das Training lernt es, bei vergleichbaren Anfragen ähnliche Antworten zu generieren.
Ein typischer Anwendungsfall ist die Anpassung des Sprachstils. Unternehmen können ein KI-Modell beispielsweise darauf trainieren, Kundenanfragen in einer bestimmten Tonalität zu beantworten. Auch die Einhaltung bestimmter Antwortformate, Fachbegriffe oder Verhaltensweisen lässt sich durch Fine-Tuning verbessern.
Zwar kann ein Sprachmodell durch Fine-Tuning auch zusätzliches Fachwissen erlernen, für die Bereitstellung aktueller und präziser Unternehmensinformationen ist das Verfahren jedoch nur eingeschränkt geeignet. Die Informationen werden nicht als einzelne Dokumente hinterlegt, sondern verändern die internen Modellparameter. Dadurch lässt sich nicht zuverlässig sicherstellen, dass das Modell erlernte Fakten korrekt wiedergibt. Auch Halluzinationen werden durch Fine-Tuning nicht grundsätzlich verhindert.
Retrieval Augmented Generation (RAG) verfolgt einen anderen Ansatz. Das bestehende Sprachmodell wird nicht zusätzlich trainiert, sondern erhält vor der Generierung einer Antwort relevante Informationen aus angebundenen Datenquellen.
Fragt ein Mitarbeiter beispielsweise „Wie hoch war unser Umsatz im vergangenen Monat?“, kann das RAG-System die entsprechenden Informationen aus einer angebundenen Datenbank abrufen und dem Sprachmodell als Kontext bereitstellen. Das Modell formuliert anschließend eine Antwort auf Basis dieser Informationen.
Das KI-Sprachmodell behält dabei grundsätzlich seine ursprünglichen sprachlichen Fähigkeiten und seinen Antwortstil. Anders als beim Fine-Tuning werden jedoch gezielt Informationen bereitgestellt, die dem Modell während seines ursprünglichen Trainings nicht bekannt waren.
Ein wesentlicher Vorteil ist die Aktualität. Werden beispielsweise neue Dokumente in SharePoint hinterlegt oder Umsatzzahlen im ERP-System aktualisiert, können diese Informationen bei entsprechender Anbindung direkt in zukünftigen Antworten berücksichtigt werden. Ein erneutes Training des Sprachmodells ist dafür nicht erforderlich.
Auch das Risiko von Halluzinationen lässt sich reduzieren, da die KI ihre Antworten auf konkrete Quellen stützen kann. Vollständig ausgeschlossen werden falsche Antworten dadurch allerdings nicht.
Beide Verfahren schließen sich nicht gegenseitig aus. In Unternehmensanwendungen kann es sinnvoll sein, Fine-Tuning und RAG miteinander zu kombinieren.
Ein KI-Chatbot im Kundenservice könnte beispielsweise durch Fine-Tuning darauf trainiert werden, im gewünschten Sprachstil des Unternehmens zu antworten. Gleichzeitig stellt RAG sicher, dass der Chatbot auf aktuelle Produktinformationen, Handbücher oder Vertragsbedingungen zugreifen kann.
Das Fine-Tuning bestimmt in diesem Fall vor allem, wie die KI antwortet. RAG liefert die Informationen, auf deren Grundlage die Antwort erstellt wird.
Für Unternehmen, die ihre bestehenden Dokumente, Datenbanken oder Unternehmenssysteme mit KI-Sprachmodellen verbinden möchten, ist RAG daher in vielen Fällen der sinnvollere Ausgangspunkt. Fine-Tuning eignet sich ergänzend insbesondere dann, wenn das Verhalten oder die Art der Antworten eines Sprachmodells gezielt angepasst werden soll.
Wir prüfen mit Ihnen, welche Wissensquellen sich für RAG eignen, und bauen die Lösung vom Prototyp mit Ihren echten Daten bis zum Betrieb.