{"id":51509,"date":"2024-11-06T14:00:00","date_gmt":"2024-11-06T13:00:00","guid":{"rendered":"https:\/\/www.d-velop.de\/blog\/?p=51509"},"modified":"2026-01-08T13:59:30","modified_gmt":"2026-01-08T12:59:30","slug":"retrieval-augmented-generation","status":"publish","type":"post","link":"https:\/\/www.d-velop.de\/blog\/digitaler-wandel\/retrieval-augmented-generation\/","title":{"rendered":"Das \u00d6ffnen der Black Box- Wie Retrieval Augmented Generation Dein Unternehmenswissen greifbar macht"},"content":{"rendered":"\n

In der heutigen, schnelllebigen digitalen Welt ist der Zugang zur richtigen Information zur richtigen Zeit ein entscheidender Wettbewerbsvorteil. Genau hier kommen gro\u00dfe Sprachmodelle (LLMs) ins Spiel. Diese fortschrittlichen KI-Systeme k\u00f6nnen menschen\u00e4hnlichen Text verstehen und generieren, was sie f\u00fcr Nutzer:innen und Anbieter von Dokumentenmanagement-Systemen<\/a> \u00e4u\u00dferst relevant macht. Der Zugriff auf unternehmenseigene Inhalte, die auf dieser Technologie basieren, ist jedoch nicht ganz so einfach. In diesem Blogartikel schauen wir uns die grundlegende Technologie an, die es Dir erm\u00f6glicht, gro\u00dfe Mengen an Dokumenten sicher und effizient mit modernster KI-Technologie zu durchforsten und erkl\u00e4ren, was Retrieval Augmented Generation<\/strong> damit zu tun hat. Dabei werfen wir einen Blick unter die Motorhaube der neuesten Innovationen von d.velop im Bereich des modernen Dokumentenmanagements<\/a>. Aber bevor wir tiefer einsteigen, betrachten wir ein Beispiel aus dem Arbeitsalltag, das Dir sicher vertraut ist:<\/p>\n\n\n\n

Stell Dir vor, Du arbeitest an einem wichtigen Projekt und musst schnell spezifische Informationen in einem umfangreichen Dokumentenarchiv Deines Unternehmens finden. Traditionell k\u00f6nnte dies bedeuten, eine manuelle Suchanfrage zu formulieren, zahllose Dateien zu \u00f6ffnen, sie durchzusehen, Abs\u00e4tze genau zu lesen und gleichzeitig Deine Erkenntnisse zu notieren. Das kann m\u00fchsam und zeitaufwendig sein. Doch was, wenn es einen intelligenteren Weg g\u00e4be, genau das zu bekommen, was Du brauchst \u2013 und das sofort?<\/p>\n\n\n\n

\n

<\/span>Was versteht man unter Retrieval Augmented Generation (RAG)?<\/span><\/h2>\n\n\n\n

Retrieval Augmented Generation<\/strong> (RAG) ist eine wegweisende Technologie, die die St\u00e4rken gro\u00dfer Sprachmodelle mit intelligenten Suchmechanismen kombiniert und Dir gezielte Antworten direkt aus Deinen eigenen Daten liefert. Stell Dir RAG wie einen wissenden Assistenten vor, der Deine Fragen nicht nur versteht, sondern auch genau wei\u00df, wo in Deinem Dokumentenmanagement-System die passenden Antworten zu finden sind.<\/p>\n<\/div><\/div>\n\n\n\n

Lies weiter, um herauszufinden, wie Retrieval Augmented Generation Dein Unternehmen unterst\u00fctzen kann, indem sie wichtige Informationen m\u00fchelos zug\u00e4nglich macht \u2013 genau dann, wenn Du sie brauchst! Also, lass uns gemeinsam Deine eigene RAG-Pipeline aufbauen.<\/p>\n\n\n\n

<\/span>Gro\u00dfe Sprachmodelle \u2013 Autovervollst\u00e4ndigung auf Steroiden<\/span><\/h2>\n\n\n\n

Um einen virtuellen Assistenten zu entwickeln, der Deine Fragen beantworten kann, ist es wichtig, das Grundprinzip hinter einem gro\u00dfen Sprachmodell zu verstehen. Stell Dir vor, Du tippst auf Deinem Smartphone eine Nachricht ein. Sobald Du mit \u201eTaten sagen mehr als \u2026\u201c anf\u00e4ngst, schl\u00e4gt die Autovervollst\u00e4ndigungsfunktion \u201eWorte\u201c als Fortsetzung des Sprichworts vor. Das ist ein einfaches Beispiel daf\u00fcr, wie ein Sprachmodell funktioniert \u2013 es sagt voraus und generiert Text, basierend auf Mustern, die es in riesigen Datenmengen gelernt hat. Im Grunde ist es eine hochentwickelte Version der Autovervollst\u00e4ndigung auf Deinem Handy, die jedoch viel komplexere Aufgaben bew\u00e4ltigen kann.<\/p>\n\n\n\n

Wenn ein LLM l\u00e4ngere Texte generieren soll, wiederholt es diesen Vorgang einfach. Bei der Eingabe \u201cWhen shall we three meet again?\u201c sagt das Modell zun\u00e4chst \u201eIn\u201c voraus. Anschlie\u00dfend wird diese Ausgabe zum Ausgangstext hinzugef\u00fcgt, wodurch der Satz \u201eWhen shall we three meet again? In\u2026\u201c entsteht. Diese Iteration f\u00fchrt schlie\u00dflich zur Er\u00f6ffnungsszene von Shakespeares Macbeth: \u201cWhen shall we three meet again? In thunder, lightning, or in rain?\u201d.<\/p>\n\n\n\n

LLMs sind also \u00e4u\u00dferst leistungsf\u00e4hig darin, plausiblen Text auf Basis eines Prompts zu generieren. Und weil sie mit einem Gro\u00dfteil des im Internet bekannten Wissens trainiert wurden, sind sie ausgezeichnet darin, auf nahezu jede Frage Antworten zu liefern. Manchmal sind sie jedoch zu gut. Sie neigen dazu, Dinge zu erfinden. Dies wird als \u201eHalluzination\u201c bezeichnet. Das ist problematisch, da dies nicht immer sofort erkennbar ist. Au\u00dferdem hat ein LLM keinen Zugriff auf die unternehmenseigenen Daten \u2013 und das aus gutem Grund.<\/p>\n\n\n\n

<\/span>Wie kannst Du Deine eigenen Inhalte integrieren?<\/span><\/h2>\n\n\n\n

Hier kommt Retrieval Augmented Generation<\/strong> (RAG) ins Spiel. RAG kombiniert die St\u00e4rken eines vortrainierten Large Language Model (LLM) mit fortschrittlichen Retrieval-Mechanismen. Du kannst Dir das System wie einen unglaublich versierten Assistenten vorstellen, der Deine Fragen versteht und genau wei\u00df, wo die relevantesten Informationen in Deinem d.velop-Dokumenten-Repository zu finden sind. Die folgende Abbildung zeigt Dir eine schematische \u00dcbersicht \u00fcber das Konzept, das wir umsetzen wollen.<\/p>\n\n\n\n

\"Bild<\/a><\/figure>\n\n\n\n

So funktioniert es: Wenn Du eine Frage stellst oder eine Suchanfrage startest, durchsucht das System zuerst die Dokumente Deines Unternehmens, um relevante Informationen zu finden. Die KI verwendet diese Daten dann, um genaue und kontextuell passende Antworten zu generieren. Dadurch erh\u00e4ltst Du pr\u00e4zise Antworten, die genau auf Deine Bed\u00fcrfnisse zugeschnitten sind. <\/p>\n\n\n\n

Im Wesentlichen ver\u00e4ndert Retrieval Augmented Generation die Art und Weise, wie wir mit digitalen Inhalten interagieren, und macht sie zug\u00e4nglicher und anwendbarer. Egal, ob Du Berichte verfasst, Pr\u00e4sentationen vorbereitest oder strategische Entscheidungen triffst \u2013 RAG stellt sicher, dass Du zeitnah die relevanten Informationen zur Verf\u00fcgung hast und so Deine Digitalisierungsprojekte effizienter und wirkungsvoller gestalten kannst. <\/p>\n\n\n\n

<\/span>Wie werden \u201erelevante Inhalte“ erkannt?<\/span><\/h2>\n\n\n\n

Mit einer Grundstruktur im System geht es nun darum, effizient zu bestimmen, welche Inhalte bei einer bestimmten Frage oder Anfrage relevant sind. Hier wird es spannend: Statt das gesamte Dokumentenarchiv Deines Unternehmens zu durchsuchen \u2013 ein teurer und zeitaufwendiger Prozess, der zudem das Risiko birgt, dass Deine gesch\u00fctzten Inhalte an Dritte gelangen k\u00f6nnten \u2013 nutzt RAG eine clevere Methode.<\/p>\n\n\n\n

Einfach gesagt verwendet RAG fortschrittliche mathematische Techniken, um Sprache zu verstehen und zu verarbeiten. Im Kern stehen sogenannte Word Embeddings \u2013 numerische Darstellungen von W\u00f6rtern, die deren Bedeutung im jeweiligen Kontext erfassen. Lass uns das Schritt f\u00fcr Schritt erkl\u00e4ren.<\/p>\n\n\n\n

Da Computer hervorragend mit Zahlen umgehen k\u00f6nnen, aber nicht so gut mit Sprache, ist es unser erstes Ziel, \u201eWorte in Zahlen zu \u00fcbersetzen\u201c. Optimalerweise spiegelt diese Transformation die Bedeutung der W\u00f6rter wider. Die Details sind mathematisch komplex, aber wir stellen hier eine grundlegende Intuition vor \u2013 das Schl\u00fcsselkonzept der \u201eWord Embeddings\u201c.<\/p>\n\n\n\n

<\/span>Was sind Word Embeddings?<\/span><\/h2>\n\n\n\n

Erinnere Dich an die Schulzeit, als Du Vektoren kennengelernt hast \u2013 diese kleinen Pfeile, die in verschiedene Richtungen zeigen. Im Bereich Natural Language Processing (NLP) verwenden wir solche Vektoren, um die Bedeutung von W\u00f6rtern darzustellen. Ein Sprachmodell, also ein speziell trainiertes neuronales Netzwerk, wird darauf trainiert, ein Wort oder eine Phrase auf einen hochdimensionalen Vektor abzubilden. Dieses Modell nennen wir Embedding Model. Die folgende Grafik veranschaulicht dieses Prinzip:<\/p>\n\n\n\n

\"Infografik<\/a><\/figure>\n\n\n\n

Um ein Beispiel zu geben: Wenn Du den Embedding-Vektor f\u00fcr \u201eking\u201c (t\u00fcrkis) nimmst, den Vektor f\u00fcr \u201eman\u201c (gelb) subtrahierst und den Vektor f\u00fcr \u201ewoman\u201c (lila) addierst, erh\u00e4ltst Du einen Vektor, der dem f\u00fcr \u201equeen\u201c (rot) sehr \u00e4hnlich ist. Dieses klassische Beispiel zeigt, wie diese Vektoren tiefe Einblicke in die Semantik von W\u00f6rtern erm\u00f6glichen. F\u00fcr eine detaillierte, theoretisch fundierte Darstellung empfehlen wir den Artikel von Mikolov et al. [T. Mikolov et al.: Efficient Estimation of Word Representations in Vector Space, 2013].<\/p>\n\n\n\n

Von den Word Embeddings ist es nur ein kleiner Schritt zu Document Embeddings: Mit denselben Mechanismen k\u00f6nnen wir Vektoren berechnen, die die Bedeutung ganzer S\u00e4tze oder Dokumente erfassen. In der Praxis unterteilen wir jedes Dokument in mehrere Abschnitte und berechnen f\u00fcr jeden Abschnitt einen Vektor. Zur Vereinfachung verwenden wir im Folgenden den Begriff Document Embeddings, als ob jedes Dokument nur einen Vektor h\u00e4tte.<\/p>\n\n\n\n

<\/span>Wie wird Relevanz berechnet?<\/span><\/h2>\n\n\n\n

Nun, da wir Word- und Document Embeddings verstehen, sehen wir uns an, wie sie uns helfen, Relevanz zu definieren. Wenn Du eine Frage stellst oder eine Suchanfrage startest, k\u00f6nnen wir diese ebenfalls als Vektor darstellen. Der Vektor spiegelt die wesentliche Bedeutung Deiner Anfrage wider. Dasselbe machen wir f\u00fcr jedes Dokument, und beide Vektoren \u2013 sowohl f\u00fcr die Anfrage als auch f\u00fcr die Dokumente \u2013 erfassen die \u201eBedeutung\u201c, was uns erm\u00f6glicht, sie miteinander zu vergleichen. Dies geschieht mithilfe der Cosinus-\u00c4hnlichkeit. Im Grunde entspricht die Relevanz zwischen einem Dokument und Deiner Anfrage dem Winkel zwischen den jeweiligen Embedding-Vektoren.<\/p>\n\n\n\n

\"Infografik<\/a><\/figure>\n\n\n\n

Wenn die Vektoren sehr \u00e4hnlich sind, also in dieselbe Richtung zeigen, ist das Dokument sehr relevant f\u00fcr Deine Anfrage. Wenn sie nicht \u00e4hnlich sind, dann ist das Dokument nicht relevant.<\/p>\n\n\n\n

<\/span>Effizientes Abfragen von Dokumenten<\/span><\/h2>\n\n\n\n

Stell Dir vor, Du hast eine riesige Bibliothek voller Dokumente \u2013 Vertr\u00e4ge, Berichte, E-Mails und vieles mehr. Die Vektoren f\u00fcr alle Dokumente jedes Mal neu zu berechnen, w\u00e4re rechenintensiv und langsam.<\/p>\n\n\n\n

Gl\u00fccklicherweise \u00e4ndern sich die Dokumente nicht st\u00e4ndig. Daher k\u00f6nnen wir die Vektoren der Dokumente vorab berechnen. Neue Berechnungen sind nur dann erforderlich, wenn ein neues Dokument hinzugef\u00fcgt oder ein bestehendes Dokument aktualisiert wird. Die Vektoren speichern wir in einer speziellen Vektordatenbank oder einem Vektorindex, was eine schnelle (approximative) Abfrage der Vektoren erm\u00f6glicht. Die Datenbank-Engine findet dann die Vektoren, die dem Abfragevektor am \u00e4hnlichsten sind.<\/p>\n\n\n\n

\n

Dokumentenmanagement einfach erkl\u00e4rt<\/p>\n\n\n\n\t

\n\t\t
\n\t\t\tJetzt lesen<\/a>\t\t<\/div>\n\t<\/div>\n\n\t<\/div><\/div>\n\n\n\n

Was passiert nun, wenn Du eine Frage eingibst? Angenommen, Du suchst bestimmte Klauseln in einem Vertrag oder spezifische Details in einem Jahresbericht. So funktioniert das System:<\/p>\n\n\n\n

    \n
  1. Anfragen-Transformation<\/strong>: Deine Frage wird in einen eigenen Embedding-Vektor umgewandelt.<\/li>\n\n\n\n
  2. Datenbankabfrage<\/strong>: Das System verwendet diesen Vektor, um die Vektordatenbank abzufragen.<\/li>\n\n\n\n
  3. Ergebnisermittlung<\/strong>: Durch effizientes Berechnen der \u00c4hnlichkeit zwischen Abfrage- und Dokumentvektoren anhand der Cosinus-\u00c4hnlichkeit identifiziert das System die relevantesten Abschnitte.<\/li>\n<\/ol>\n\n\n\n

    Um den Prozess abzurunden, werden Deine Eingabefrage und die relevanten Dokumente in eine Abfrageformulierung gepackt. Diese Abfrage nutzt die F\u00e4higkeiten des zugrunde liegenden LLM optimal und stellt sicher, dass die Antworten auf die Dokumente gest\u00fctzt werden \u2013 das minimiert das Risiko f\u00fcr falsche Antworten. Der gesamte Prozess wird in der folgenden schematischen Darstellung veranschaulicht.<\/p>\n\n\n\n

    \"Infografik<\/a><\/figure>\n\n\n\n

    Dies ist Deine grundlegende Pipeline f\u00fcr Retrieval Augmented-Generation (RAG). Die Abk\u00fcrzung passt perfekt: Der abschlie\u00dfende Generierungsprozess, der daf\u00fcr sorgt, Deine Frage pr\u00e4zise zu beantworten, wird durch einen vorherigen Retrieval-Schritt unterst\u00fctzt. So wird eine Auswahl von Dokumenten erstellt, die alle n\u00f6tigen Informationen enthalten.<\/p>\n\n\n\n

    <\/span>Umsetzung in der Produktion  <\/span><\/h2>\n\n\n\n

    Eine Standardimplementierung ist f\u00fcr Demos ausreichend, aber f\u00fcr den produktiven 24\/7-Betrieb braucht es mehr. Hier spielen Sicherheit und Datenschutz eine entscheidende Rolle. <\/p>\n\n\n\n

    Geregelter Informationszugang <\/h3>\n\n\n\n

    Stell Dir vor, Du arbeitest an einem sensiblen Projekt in Eurem d.velop-Dokumentenarchiv. Nat\u00fcrlich sollten nicht alle Zugriff auf alle Projektunterlagen haben, und die Zugriffsrechte sind oft komplex. Eine uneingeschr\u00e4nkte RAG-Pipeline w\u00fcrde jedoch jede Frage beantworten, egal wer sie stellt. <\/p>\n\n\n\n

    Dank der M\u00f6glichkeit, detaillierte und fein abgestufte Zugriffsrechte festzulegen, war es schon immer ein zentraler Bestandteil von d.velop documents<\/a>, Informationen zu sch\u00fctzen. Unsere RAG-Implementierung baut auf dieser Grundlage auf, sodass bei Anfragen die KI nur Dokumente abruft, auf die Du tats\u00e4chlich Zugriff hast. <\/p>\n\n\n\n

    \"Infografik<\/a><\/figure>\n\n\n\n

    Nehmen wir an, Sarah aus dem Marketingteam stellt eine Frage zu Deinem sensiblen Projekt. Da Sarah nicht zum Projektteam geh\u00f6rt, hat sie keinen Zugriff auf das Projektangebot und die zugeh\u00f6rigen Dokumente. Die RAG-Pipeline antwortet Sarah daher allgemein und teilt mit, dass zu ihrem Thema keine Informationen gefunden wurden.<\/p>\n\n\n\n

    Zusammengefasst: Nur die Mitarbeitenden, die eine Berechtigung haben, sehen auch die Inhalte, die f\u00fcr sie bestimmt sind. So bleiben sensible Informationen gesch\u00fctzt und die Compliance mit Unternehmensrichtlinien ist gew\u00e4hrleistet.<\/p>\n\n\n\n

    Deine Daten bleiben Deine Daten<\/h3>\n\n\n\n

    Per Definition sind gro\u00dfe Sprachmodelle wirklich gro\u00df. Daher greifen wir auf externe Cloud-Angebote wie Microsoft Azure OpenAI Services, Amazon Bedrock oder Anthropic zur\u00fcck, die das Modell \u00fcber entsprechende APIs bereitstellen.<\/p>\n\n\n\n

    Das bringt die Frage auf: Wer hat Zugriff auf Deine Daten? Keine Sorge. Datenschutz ist uns ein gro\u00dfes Anliegen. Beim Indexieren \u2013 also beim Vorbereiten von Dokumenten f\u00fcr den Abruf \u2013 hast Du die volle Kontrolle, was indiziert wird und was nicht. Alles andere bleibt unber\u00fchrt. Dabei werden alle Daten stets verschl\u00fcsselt, sowohl bei der Speicherung als auch w\u00e4hrend der \u00dcbertragung. Das gilt selbstverst\u00e4ndlich auch f\u00fcr die Vektordatenbank.<\/p>\n\n\n\n

    Dar\u00fcber hinaus pr\u00fcfen wir jeden LLM-Anbieter gr\u00fcndlich auf deren Datenschutzbestimmungen. Wir verwenden nur Dienste, die explizit zusichern, Deine Daten nicht f\u00fcr Trainingszwecke zu verwenden. Zudem w\u00e4hlen wir nur Anbieter aus, die ihre Dienste innerhalb der EU hosten, um \u00dcbertragungen in Drittl\u00e4nder zu verhindern und somit den Anforderungen der DSGVO<\/a> zu entsprechen.<\/p>\n\n\n\n

    \n

    Workflow-Management in der Praxis<\/strong>: Erlebe jetzt das d.velop process studio<\/h3>\n\n\n\n\t
    \n\t\t
    \n\t\t\tDemo anfragen<\/a>\t\t<\/div>\n\t<\/div>\n\n\t<\/div><\/div>\n\n\n\n

    <\/span>Fazit<\/span><\/h2>\n\n\n\n

    Da hast Du es: Ein funktionsf\u00e4higes RAG-System, das schnellen Datenzugriff gew\u00e4hrleistet und gleichzeitig Deine Datenschutz- und Sicherheitsanforderungen ber\u00fccksichtigt. Nun, da das System einsatzbereit ist, gehen wir einen Schritt weiter und betrachten konkrete Beispiele:<\/p>\n\n\n\n