Künstliche Neuronale Netze (KNN) haben in den letzten Jahren eine beispiellose Revolution erlebt. Generative Transformer wie GPT-3 und GPT-4 ermöglichen es Endnutzern heute, mit einfachen Mitteln eine Vielzahl von Aufgaben im Bereich der natürlichen Sprachverarbeitung zu bewältigen - sei es die Generierung von Text, die Beantwortung von Fragen durch Chatbots oder die Analyse von Stimmungen und Emotionen (Sentiments). Der maschinell erzeugte Output ist oft nicht von menschlichen Äußerungen zu unterscheiden, und die Modelle sind in der Lage, blitzschnell komplexeste Aufgaben zu verstehen und zu lösen. Es liegt auf der Hand, dass diese Technologien auch ein großes Potenzial für den Einsatz im Kundenservice bieten!

Aber was sind eigentlich generative Transformer?

GPT (Generative Pre-trained Transformer) ist ein generatives Machine Learning Modell, das auf Millionen von Sätzen trainiert ist. Generative Modelle bestehen aus einer Encoder-Decoder-Struktur, die mit Hilfe von neuronalen Netzen aus einer Input-Form eine Output-Form generiert. Im Fall von Chat-GPT wird von einem Text Input ein Text Output generiert. Die Kern-Technologie von GPT ist jedoch ein Transformer. Ein Transformer beinhaltet

• Wort-Embedding: Erlaubt dem Modell zu messen, wie ähnlich verschiedene Wörter in ihrer Bedeutung sind.
• Positional-Encoding: Berücksichtigt die Position der Wörter in einem Satz
• Self-Attention: Betrachtet die Beziehung zwischen Wörtern in einem Satz

Wie und wofür können GPT-Modelle eingesetzt werden?

GPT-3 und GPT-4 werden mittlerweile in unzähligen Bereichen der maschinellen Sprachverarbeitung - und darüber hinaus - eingesetzt. Hier nur einige Beispiele, was GPT kann:

• Gespräche führen und Fragen beantworten (Chat)
• Texte erstellen
• Komplexe Textinhalte verstehen und zusammenfassen
• Emotionen und Stimmungen analysieren (Sentimentanalyse)
• Texte übersetzen
• Texte klassifizieren
• Programmcode schreiben und korrigieren

Was sind die Vorteile von GPT-Modellen?

• Sie können für eine Vielzahl von Aufgaben im Bereich der natürlichen Sprachverarbeitung (NLP) eingesetzt werden.
• Sie erreichen eine hohe Genauigkeit durch die Datenmenge, mit der sie trainiert werden, und durch die Art der Transformation (Einbettung).
• Sie können optimiert und an konkrete Daten oder Aufgaben angepasst werden (Finetuning).
• Durch die Bereitstellung über die OpenAI-Plattform sind sie einfach zu bedienen.

Wie können GPT-Modelle im Kundenservice eingesetzt werden?

Im Kundenservice sind verschiedene Anwendungsszenarien denkbar - von der automatischen Spracherkennung eingehender Anrufe im Call Center (Speech-to-Text) über die künstliche Generierung von Trainingsdaten für den Chatbot bis hin zur Klassifizierung von Kundenanfragen zur automatischen Kontaktgrunderkennung und Erstellung von Antwortvorlagen. In verschiedenen Projekten untersuchen wir das Potenzial von GPT, um die bestmöglichen Lösungsstrategien für die Anforderungen und Probleme unserer Kunden zu finden. Eines dieser Projekte möchten wir hier vorstellen, um unsere Erfahrungen aus dem Vergleich von GPT mit anderen KI-Verfahren, die wir einsetzen, mit Ihnen zu teilen.

Finetuning mit Azure OpenAI

Finetuning bezeichnet die Möglichkeit, ein vortrainiertes GPT-Modell mit eigenen Daten so umzutrainieren, dass es für die Aufgaben, die es in einer spezifischen Domäne erledigen soll, noch bessere Ergebnisse erzielt. GPT-Modelle können u.a. für Klassifizierungsaufgaben optimiert und dazu verwendet werden, Labels (Kontaktgründe) für eingehende Anfragen vorzuschlagen. Insbesondere in Projekten, in denen nur wenige Daten zur Verfügung stehen, um qualitativ hochwertige Modelle zu trainieren, scheint die Kombination eigener Trainingsdaten mit Large Language Models ein nützliches Anwendungsgebiet zu sein. Mit einem sehr kleinen Datensatz aus einem unserer Kundenprojekte, der insbesondere durch eine unausgewogene Verteilung der Klassen herausfordert, haben wir ein GPT-Modell auf Azure OpenAI optimiert, um die Performance mit anderen von uns verwendeten Modellen zu vergleichen. Microsoft hat gut vorgelegt und unter learn.microsoft.com/de-de/azure/ai-services/openai/how-to/fine-tuning eine leicht zu benutzende und gut dokumentierte Umgebung geschaffen, mit der man schnell entsprechende Prototypen bauen kann.

Klassischen KI-Verfahren noch eine Chance geben: Vergleich zweier GPT-Modelle (Ada und Curie) mit einem XGBoost-Modell

XGBoost ist ein Ensemble-Learning-Verfahren, d.h. ein überwachtes Lernverfahren, das auf Entscheidungsbäumen (sog. Decision Trees) basiert. Der Trainingsdatensatz unseres Experiments bestand aus 117 Samples in 38 Klassen (Labels).

Vergleich der Genauigkeit:
XGBoost: 74 %.
Ada: 38 %
Curie: 58 %.

Obwohl mit Curie bereits eine akzeptable Genauigkeit erreicht werden kann, ist das Decision Tree Modell leistungsfähiger. Nicht nur die Genauigkeit der Vorhersage war in unserem Fall mit dem klassischen XGBoost-Modell besser, auch bei der Verarbeitungsgeschwindigkeit und dem damit verbundenen Ressourcenverbrauch zog das OpenAI-Modell den Kürzeren. Unser Fazit: Generative Transformer haben ihre Stärken in der Textgenerierung und im Allgemeinen nicht bei deterministischen Aufgaben wie der Klassifikation.

Brauchen wir dann überhaupt generative KI?

Ein klares Ja. Generative KI kann zum Beispiel eingesetzt werden, um synthetische Trainingsdaten für KI-Anwendungen zu erzeugen. Wer kennt nicht das mühsame Erstellen von Beispielfragen beim Training eines Chatbots? Wir untersuchen derzeit, welchen Nutzen der Einsatz von ChatGPT haben kann, wie gut die Modelle mit domänenspezifischen Begriffen umgehen können und ob in diesem Anwendungsfall ein tatsächlicher Mehrwert entstehen kann. Als Fazit bleibt unsere Empfehlung: Generative KI ist mächtig und bietet viele Möglichkeiten, ist aber nicht immer die erste Wahl, um Ihren Kundenservice effizienter zu gestalten. Es kommt also ganz darauf an...