Ein KI Use Case, der uns bei rwQUANTICAL immer wieder begleitet, ist die Klassifikation von Kundenanfragen mit KI im Kundenservice.
Kunden möchten, dass Anfragen, die per E-Mail oder über Portale eingehen, automatisch ausgelesen, klassifiziert und anschließend weiterverarbeitet werden.
Vor dem Release von LLMs waren solche Aufgaben teilweise nur schwer umzusetzen. Klassische Software konnte Sprache nur eingeschränkt verstehen. Unterschiedliche Formulierungen mussten über Keywords, Regeln oder eigene Logiken abgefangen werden.
Durch moderne Sprachmodelle ist dies deutlich einfacher geworden.
Dieser Beitrag zeigt, wie Unternehmen Kundenanfragen mit einer lokalen KI verarbeiten und die Ergebnisse anschließend in Automatisierungsketten einbinden können. Als Beispiel verwenden wir dafür das Open-Source-Modell Laya.
Warum eine lokale KI für Kundenanfragen verwenden?
Natürlich können Kundenanfragen auch mit ChatGPT, Claude oder einem anderen großen Sprachmodell verarbeitet werden. Für eine reine Klassifikation ist ein solches Modell aber häufig größer als notwendig.
Ein Unternehmen möchte vielleicht nur wissen, ob eine neue Anfrage zu Legal, Support oder zur Buchhaltung weitergeleitet werden muss. Zusätzlich soll vielleicht erkannt werden, wie dringend die Anfrage ist oder welcher Prozess anschließend gestartet werden soll.
Für diese Aufgabe muss ein Modell keine langen Texte schreiben, programmieren oder komplexe Probleme lösen können, sondern Inputs in strukturierte Outputs transferieren.
Die multilinguale Version von Laya, die auch deutsche Texte verarbeitet, hat rund 322 Millionen Parameter und ist im Vergleich zu großen Sprachmodellen sehr klein. Bei Tests auf einem MacBook Air lief das Modell problemlos. Damit eignet es sich auch für kleinere lokale Systeme und benötigt für erste Tests keine große GPU-Infrastruktur.
Der lokale Betrieb ist vor allem bei sensiblen Daten interessant. Kundenanfragen können innerhalb der eigenen Infrastruktur verarbeitet werden und müssen für die Klassifikation nicht an OpenAI, Anthropic oder einen anderen externen Anbieter übertragen werden.
Hinzu kommen die Kosten. Bei kommerziellen LLM-APIs entstehen für jede Verarbeitung Token-Kosten. Bei einem lokalen Modell fallen stattdessen hauptsächlich die Kosten der eigenen Hardware und Infrastruktur an. Bei sehr vielen kleinen Klassifikationen kann das einen relevanten Unterschied machen.
Ein weiterer Vorteil ist die Ausgabe. Bei solchen Prozessen werden meistens keine ausformulierten Antworten benötigt, sondern konkrete Daten.
Eine Kundenanfrage kann beispielsweise nach Abteilung, Priorität und Kündigungsrisiko klassifiziert werden:
{
"department": "support",
"priority": "high",
"cancellation_risk": true
}Mit diesen Daten kann die nächste Anwendung direkt weiterarbeiten.
Wie funktioniert Laya?
Laya bekommt zunächst den Text einer Anfrage. Zum Beispiel:
Hallo, wir können uns seit heute Morgen nicht mehr in unserem Kundenportal anmelden. Wir benötigen dringend Zugriff, da wir heute Rechnungen erstellen müssen.
Zusätzlich wird festgelegt, welche Informationen aus dieser Anfrage benötigt werden. In diesem Beispiel soll das Modell die zuständige Abteilung, die Dringlichkeit und das Kündigungsrisiko bestimmen.
Das Ergebnis könnte dann so aussehen:
Abteilung: Support
Wahrscheinlichkeit: 96 %
Priorität: Hoch
Wahrscheinlichkeit: 91 %
Kündigungsrisiko: Niedrig
Wahrscheinlichkeit: 98 %Aus einer normalen E-Mail sind damit strukturierte Informationen geworden, die anschließend von anderer Software verarbeitet werden können.
Laya auf den eigenen Anwendungsfall anpassen
Für einen ersten Test ist nicht direkt ein Fine-Tuning notwendig. Zunächst kann geprüft werden, wie gut das bestehende Modell mit echten Anfragen aus dem eigenen Unternehmen funktioniert.
Dafür können beispielsweise einige hundert historische Kundenanfragen verwendet werden. Diese werden einmal manuell mit den gewünschten Kategorien versehen. Danach lässt sich vergleichen, wie häufig Laya zur gleichen Entscheidung kommt.
Ein Fine-Tuning wird besonders bei unternehmensspezifischen Kategorien interessant. Ein allgemeines Modell kennt beispielsweise nicht automatisch die genaue interne Abgrenzung zwischen SAP Support, AMS, Change Request, Incident oder einer neuen Projektanfrage.
Auch dafür sind nicht zwingend tausende Beispiele notwendig. Ein kleiner sauber klassifizierter Datensatz kann für einen ersten Versuch ausreichen. Anschließend werden die Fehler betrachtet und gezielt weitere Beispiele ergänzt.
Ein Teil der vorhandenen Anfragen sollte dabei nicht für das Training verwendet werden. Mit diesen Daten kann später getestet werden, ob sich die Erkennungsrate durch das Fine-Tuning tatsächlich verbessert hat.
Kundenanfragen mit n8n oder Power Automate verarbeiten
Die Klassifikation ist nur ein Teil des Prozesses. Danach muss mit dem Ergebnis etwas passieren.
Eine neue E-Mail kann beispielsweise aus Microsoft 365 oder Gmail übernommen und an eine lokal laufende Laya API geschickt werden. Laya gibt anschließend die erkannte Kategorie zurück. n8n, Power Automate oder eine eigene Anwendung verarbeitet diese Information weiter.
Kommt die Kategorie support zurück, kann automatisch ein Ticket erstellt werden.
Eine Vertriebsanfrage kann als Lead im CRM angelegt werden. Rechnungen können an einen
entsprechenden Prozess im ERP weitergegeben werden.
Bei einer Anfrage mit hoher Priorität könnte zusätzlich eine Nachricht über Microsoft Teams oder Slack ausgelöst werden.
Laya übernimmt in diesem Aufbau nur die Einordnung der Anfrage. Die eigentliche Geschäftslogik bleibt im Workflow.
Das ist in der Praxis sinnvoll, weil die Abläufe dadurch kontrollierbar bleiben. Das Modell entscheidet beispielsweise, dass es sich um eine Support-Anfrage handelt. Welche Aktionen bei einer Support-Anfrage ausgeführt werden, wird weiterhin eindeutig im Prozess definiert.
Wann ist ein größeres LLM sinnvoller?
Laya ist vor allem für klar definierte Entscheidungen interessant.
Soll ein System dagegen mehrere Dokumente miteinander vergleichen, eine individuelle Kundenantwort verfassen oder einen komplexen Sachverhalt analysieren, ist ein größeres Modell wie GPT oder Claude in der Regel besser geeignet.
Beide Modelle können auch innerhalb desselben Prozesses eingesetzt werden.
Laya klassifiziert beispielsweise zunächst die eingehende Anfrage. Einfache Fälle werden direkt automatisiert. Nur wenn eine bestimmte Kategorie oder Komplexität erkannt wird, wird die Anfrage zusätzlich an ein größeres LLM übergeben.
So muss nicht jede eingehende E-Mail über ein großes Modell verarbeitet werden.
Ein weiterer Anwendungsfall: Leads vor der Bearbeitung klassifizieren
Ein ähnlicher Aufbau ist im Vertrieb möglich.
Bevor ein Vertriebsmitarbeiter einen neuen Lead bearbeitet, können bereits verschiedene Informationen aus der Anfrage ausgelesen werden.
Passt die Anfrage zum eigenen Leistungsangebot? Gibt es bereits ein konkretes Projekt? Wird ein Zeitraum genannt? Gibt es Hinweise auf Budget oder Dringlichkeit?
Aus einer E-Mail oder einem Kontaktformular könnte Laya beispielsweise folgende Informationen erzeugen:
Passt zum Leistungsangebot: Ja
Konkretes Projekt vorhanden: Ja
Zeitraum genannt: Ja
Budget genannt: Nein
Priorität: HochDiese Informationen können anschließend automatisch an HubSpot oder ein anderes CRM übergeben werden.
Auch ein Lead-Score lässt sich darauf aufbauen. Dabei sollte der Score nicht einfach vom Sprachmodell erfunden werden. Stattdessen können feste Regeln definiert werden.
Ein konkretes Projekt gibt beispielsweise 30 Punkte, ein kurzfristiger Bedarf 20 Punkte und ein Unternehmen aus der definierten Zielgruppe weitere 20 Punkte.
Das Modell ist dann nur dafür zuständig, die notwendigen Informationen aus der Sprache zu erkennen. Die Bewertung erfolgt über normale Geschäftsregeln.
So lässt sich beispielsweise eine Anfrage wie „Wir suchen kurzfristig Unterstützung bei einer SAP-FI-Migration“ direkt als konkrete Projektanfrage erkennen und im CRM höher priorisieren als eine allgemeine Anfrage nach Informationen.
Für welche Prozesse eignet sich Laya?
Interessant ist Laya vor allem dort, wo viele Texte verarbeitet werden, am Ende aber immer wieder die gleichen wenigen Informationen benötigt werden.
Das können Kundenanfragen, Support-Tickets, Leads, Dokumente oder interne Anfragen sein.
Große LLMs können solche Aufgaben ebenfalls erledigen. Wenn am Ende aber lediglich drei oder vier Felder benötigt werden, lohnt es sich zu prüfen, ob dafür wirklich jedes Mal ein großes Sprachmodell benötigt wird.
Ein kleines lokales Modell kann für solche Klassifikationen eine einfache Alternative sein und anschließend mit bestehenden Systemen wie n8n, Power Automate, HubSpot oder dem eigenen ERP verbunden werden.
