Kundenservice & Support
Antworten aus Handbüchern, FAQs und Ticket-Historie in Sekunden statt Minuten.
Bild KI generiert
KI-Wissensdatenbank mit RAG: So wird dein Firmenwissen endlich nutzbar
Handbücher, Verträge, Tickets, Erfahrungswissen... Alles ist irgendwo da, aber verstreut. So machst du es auf Knopfdruck abrufbar, mit Datenschutz und EU AI Act im Blick.
KI im Unternehmen
Das Wissen ist da, nur findet es keiner
Du kennst das: Ein Kunde fragt nach einer Sonderkondition und niemand weiß, wo die Vereinbarung abgelegt ist. Ein neuer Kollege braucht Wochen, bis er sich im Ordnerdschungel zurechtfindet. Und wenn die erfahrene Servicetechnikerin in Rente geht, nimmt sie zwanzig Jahre Wissen mit.
In den meisten Unternehmen ist Wissen nicht knapp, sondern verstreut. Auf dem Fileserver, in SharePoint, im ERP, im Ticketsystem, in E-Mail-Postfächern und in den Köpfen einzelner Menschen. Jede Quelle hat ihre eigene Suche, ihre eigene Logik und ihre eigenen Lücken.
Das kostet jeden Tag Zeit und Nerven. Und am Ende Geld – durch doppelte Arbeit, ständige Rückfragen und Fehler, die auf veralteten Informationen beruhen.
Die meisten Unternehmen haben schon viele Lösungsansätze ausprobiert. Das Problem ist, viele Lösungen behandeln das Symptom, nicht die Ursache.
Die naheliegenden Lösungen und warum sie nicht reichen
- Noch ein Wiki oder ein neues Ablagekonzept klingt nach Ordnung, scheitert aber fast immer an der Pflege. Nach einem Jahr ist die Hälfte veraltet und gesucht wird wieder nach Stichwörtern statt nach Bedeutung.
- Eine bessere Suchfunktion findet Dokumente, aber keine Antworten. 40 Treffer zu "Garantie" helfen niemandem, der einen Kunden in zwei Minuten antworten muss.
- Dokumente einfach in ChatGPT & Co. hochladen ist schnell und bequem, aber riskant. Personenbezogene Daten und Geschäftsgeheimnisse landen bei Diensten, deren Datenverarbeitung du nicht kontrollierst. Selbst mit Business-Tarif fehlen meist die Anbindung an deine Systeme und dein Rechtekonzept.
- Ein eigenes KI-Modell trainieren ist sehr aufwendig, teuer und am Tag nach dem Training schon veraltet. Quellen kann das Modell nicht nennen. Einzelne Informationen wieder zu entfernen, etwa wegen eines Löschanspruchs nach DSGVO, ist kaum möglich.
- Eine fertige KI-Plattform von der Stange kann ein guter Einstieg sein. Oft passt sie aber nicht zu gewachsenen Systemen, die Daten liegen außerhalb deiner Kontrolle und ERP-Daten oder Ticket-Historien bleiben außen vor. Dazu kommt die Abhängigkeit vom Anbieter.
Was du eigentlich brauchst
Eine KI, die dein gesamtes Wissen kennt, aber nur sagt, was sie belegen kann. Die Berechtigung respektiert, immer aktuell ist und unter deiner Kontrolle läuft. Genau das leistet RAG, wenn es richtig umgesetzt ist.
RAG: Die KI schlägt nach, bevor sie antwortet
Bild KI generiert
RAG steht für Retrieval-Augmented Generation. Statt aus dem Gedächtnis zu antworten, sucht die KI bei jeder Frage zuerst die passenden Stellen in deinen Dokumenten und Systemen. Erst dann formuliert sie eine Antwort, gestützt auf genau diese Inhalte und mit Quellenangabe.
Für dein Team heißt das: Fragen in normaler Sprache stellen und eine präzise Antwort mit Link zum Originaldokument bekommen. Neues Wissen ist verfügbar, sobald es abgelegt ist.
Was genau ist RAG?
Was genau sich hinter dem Begriff RAG verbirgt, was Embeddings und Vektordatenbanken damit zu tun haben und mehr, erklären wir dir kompakt im Glossar.
Wo eine KI-Wissensdatenbank im Alltag hilft
Vertrieb
Produktdetails, Konditionen und Referenzen sofort parat, auch unterwegs.
Technik & Service
Wartungsanleitungen, Fehlercodes und Erfahrungsberichte direkt am Einsatzort.
Onboarding
Neue Mitarbeitende finden Antworten selbst, statt ständig Kollegen zu unterbrechen.
Qualitätsmanagement
Normen, Prozessbeschreibungen und Prüfpläne schnell durchsuchbar.
Interne Richtlinien
Reisekosten, IT-Regeln und Abläufe verständlich erklärt, rund um die Uhr.
Woran KI-Wissensdatenbanken in der Praxis scheitern
Ein RAG-Prototyp ist schnell gebaut. Eine Wissensdatenbank, der dein Team auch nach drei Monaten noch vertraut, ist eine andere Geschichte. Das sind die häufigsten Stolpersteine:
- Schlechte Datenbasis: Veraltete, doppelte oder widersprüchliche Dokumente führen zu widersprüchlichen Antworten.
- Fehlende Berechtigungen: Plötzlich beantwortet die KI dem Azubi Fragen zu den Gehältern der Geschäftsführung.
- Keine Quellen: Ohne Belege vertraut niemand der Antwort – und das zu Recht.
- Insellösung: Die Wissensdatenbank kennt nur PDFs, aber nicht ERP, CRM oder Ticketsystem.
- Kein Betrieb: Niemand misst, ob die Antworten gut sind und niemand merkt, wen sie schlechter werden.
Checkliste: Darauf kommt es bei einer RAG-Wissensdatenbank an
- Klarer Anwendungsfall: Starte mit einem konkreten Bereich, etwa Service-Anfragen, statt mit "allem Wissen der Firma".
- Saubere Anbindung deiner Quellen: Über Schnittstellen zu Fileserver, SharePoint, ERP, CRM oder Ticketsystem, nicht über manuelles Hochladen.
- Automatische Aktualisierung: Neue und geänderte Dokumente fließen automatisch ein, gelöschte verschwinden.
- Rechte übernehmen: Jede Person bekommt nur Antworten aus Inhalten, die sie auch im Original sehen darf.
- Quellenangabe bei jeder Antwort: Mit Link zum Originaldokument.
- Bewusste Modell- und Hosting-Wahl: Hosting in der EU, Auftragsverarbeitung geregelt, bei Bedarf Open-Source-Modelle auf eigenen Servern.
- Qualität messen: Testfragen, Feedback-Buttons und Monitoring im Dashboard.
- Compliance von Anfang an: Datenschutz, KI-Regulierung und IT-Sicherheit als Teil der Architektur, nicht als Nachtrag.
Die Checkliste in der Praxis: Ein Beispiel
Wie sich die Checkliste im Alltag anfühlt, zeigt ein typisches Szenario:
Ein Maschinenbauer mit rund 200 Mitarbeitern möchte seine Service-Hotline mit einer KI-Wissensdatenbank entlasten. Klingt überschaubar, aber so sieht es aus, wenn man genauer hinschaut...
Die Quellen
Das Wissen steckt in drei Systemen. Betriebsanleitungen als PDF auf einem Fileserver, viele davon gescannt und voller Tabellen. Acht Jahre Ticket-Historie im Ticketsystem. Ersatzteil- und Maschinendaten im ERP. Jede Quelle braucht eine eigene Anbindung und gescannte PDFs müssen erst per Texterkennung lesbar gemacht werden, bevor die KI damit arbeiten kann.
Die Datenqualität
Auf dem Fileserver liegen Revision 3 und Revision 4 derselben Anleitung und niemand hat festgehalten, welche gilt. Ohne Regeln für Versionen zitiert die KI im Zweifel die veraltete.
Die Berechtigungen
Tickets von Großkunden enthalten Sonderkonditionen, die nur der Vertrieb sehen darf. Diese Rechte müssen aus dem bestehenden Verzeichnisdienst übernommen und bei jeder einzelnen Suche geprüft werden, nicht erst bei der Anzeige der Antwort.
Der Datenschutz
In den Tickets stehen Namen, Telefonnummern und E-Mail-Adressen von Ansprechpartnern. Diese personenbezogenen Daten müssen vor Aufnahme herausgefiltert oder pseudonymisiert werden. Und es braucht eine klare Antwort darauf, wo das Sprachmodell läuft.
Die Qualität
Bevor das Team dem System vertraut, braucht es einen Maßstab, etwa 50 echte Hotline-Fragen, deren richtige Antworten bekannt sind. Jede Änderung am System wird gegen diese Testfragen geprüft.
Aus "Wir hängen eine KI an unsere Dokumente" werden so schnell fünf Teilprojekte: Schnittstellen, Datenaufbereitung, Rechtekonzept, Datenschutz und Qualitätssicherung. Keins davon ist exotisch, aber jedes braucht eigenes Know-How.
Under der Haube: 5 Stellschrauben für die Antwortqualität
Liefert eine KI-Wissensdatenbank schlechte Antworten, liegt es selten am Sprachmodell. Meist sitzt das Problem eine Ebene tiefer. Drehe an folgenden Stellschrauben, um die Antwortqualität zu verbessern.
Chunking
Wie Dokumente in Abschnitte zerlegt werden, ist entscheidender, als es klingt. Zu kleine Abschnitte reißen Zusammenhänge auseinander, zu große verwässern die Treffer. Tabellen, Aufzählungen und Kapitelstrukturen brauchen eigene Regeln.
Emedding-Modell
Das Modell, das Texte in Zahlenfolgen übersetzt, muss deutsche Fachsprache verstehen. Sonst erkennt es nicht, dass "Störung", "Fehlermeldung" und "Ausfall" oft dasselbe meinen.
Hybride Suche
Reine Bedeutungssuche scheitert gerne an Artikelnummern, Fehlercodes oder Normbezeichnungen. Gute Systeme kombinieren deshalb Bedeutungs- und Stichwortsuche.
Reranking
Die Suche liefert zunächst viele Kandidaten. Ein zweiter Prüfschritt sortiert sie nach tatsächlicher Relevanz, bevor sie beim Sprachmodell landen.
Anweisungen an das Modell
Das Sprachmodell braucht klare Regeln: Nur aus den Quellen antworten, Unsicherheit zugeben, Quellen nennen und Widersprüche zwischen Dokumenten kenntlich machen.
Wie gut bist du vorbereitet?
Bevor du damit startest, eine KI-Wissensdatenbank in deinem Unternehmen einzuführen, lohnt ein ehrlicher Blick auf die eigenen Voraussetzungen, Beantworte diese Fragen jeweils mit Ja oder Nein:
- Weißt du, welche Fragen in deinem Unternehmen am meisten Zeit kosten und in welchen Quellen die Antworten stehen?
- Gibt es jemanden, der eure Systeme wie Fileserver, ERP, CRM oder Ticketsystem per Schnittstelle anbinden kann?
- Ist klar, wie eure Berechtigungen technisch abgebildet sind, etwas über Gruppen im Verzeichnisdienst?
- Kann jemand beurteilen, welche Sprach- und Embedding-Modelle für deutsche Fachtexte taugen und wo sie laufen dürfen?
- Gibt es eine Methode, mit der sich die Qualität der Antworten messen lässt?
- Ist geklärt, wer das System nach dem Start betreibt, aktualisiert und absichert?
- Kann jemand Datenschutz, EU AI Act und IT-Sicherheit für deinen Anwendungsfall bewerten und dokumentieren?
Wie oft hast du mit Ja antworten können?
- 6x Ja oder mehr: Du hast eine solide Grundlage. Starte mit einem klar abgegrenztem Pilot und echten Testfragen.
- 3x - 5x Ja: Die Basis ist da, aber einzelne Bausteine fehlen. Plane für diese Punkte gezielt Zeit, Know-How oder Unterstützung ein.
- Weniger als 3x Ja: Dann steht vor der Technik erst die Vorbereitung. Ein Nein ist kein Ausschlusskriterium, zeigt aber, wo ein Projekt sonst ins Stocken gerät.
Häufige Fragen
Unsere Sammlung häufiger Fragen und Antworten, rund um das Thema "KI-Wissensdatenbank mit RAG".
Brauchen wir dafür eigene Server?
Nicht zwingend. Möglich sind eine EU-Cloud, deine eigene Infrastruktur oder eine Mischung aus beidem. Bei besonders sensiblen Daten können auch die Sprachmodelle selbst bei dir laufen.
Erfindet die KI trotzdem Antworten?
RAG reduziert die Halluzinationen deutlich, schließt sie aber nicht vollständig aus. Gute Systeme setzen deshalb auf Quellenangaben, klare Regeln für das Modell ("Steht es nicht in den Quellen, sag es.") und laufende Qualitätsmessung.
Wie gut müssen unsere Daten sein?
Nicht perfekt, aber gepflegt. Dubletten und veraltete Stände zu erkennen, gehört zu jedem Projekt dazu. Oft ist die Wissensdatenbank sogar der Anlass, endlich aufzuräumen.
Können wir klein anfangen?
Unbedingt. Ein klar abgegrenzter Anwendungsfall mit überschaubarer Dokumentenmenge, ist der beste Start, Die Architektur wächst dann mit.
Was kostet eine KI-Wissensdatenbank?
Das hängt von Datenquellen, Schnittstellen, Hosting, Nutzerzahl und weiteren Faktoren ab. Seriös beziffern lässt sich das erst, wenn Datenlage und Systeme bekannt sind. Pauschalpreise für eine KI-Wissensdatenbank solltest du deshalb eher kritischprüfen.