Natürliche Sprachverarbeitung (NLP) und Sprachmodelle sind die Grundlage der meisten KI-Anwendungen im Marketing Engineering. Taucht man in diese technischen Grundlagen eines Maschinenraums modernen Marketings ein, kommt man schnell an den Scheideweg zwischen NLP und maschinellem Lernen. Und zur Frage, welche Basis-Tools, Entwickler-Werkzeuge und Sprachmodelle die richtige Wahl für einen zukunftssicheren Marketing TechStack sind?
Sprachmodelle im NLP
Sprachmodelle stehen im Mittelpunkt von NLP. Aber was ist ein Sprachmodell? Um diese Frage zu beantworten, müssen wir zunächst den Begriff Modell und seine Verwendung im maschinellen Lernen klären. Was ist ein Modell für maschinelles Lernen?
Die reale Welt ist komplex und recht unüberschaubar. Modelle dienen dazu, komplexe Zusammenhänge, die unser Gehirn nicht mehr aufnehmen kann, so darzustellen, dass wir sie erfassen können. Wettermodelle zum Beispiel sind vereinfachte Darstellungen meteorologischer Phänomene und ihrer Wechselwirkungen. Diese Modelle helfen uns, den Bereich des Wetters besser zu verstehen und Vorhersagen darüber zu treffen. Beim maschinellen Lernen sind die Modelle ähnlich. Sie dienen hauptsächlich der Vorhersage von Ereignissen auf der Grundlage von Daten aus der Vergangenheit, weshalb sie auch als Vorhersage- oder Prognosemodelle bezeichnet werden. Die Daten, mit denen man also einen Machine Learning Algorithmus füttert, sind die Grundlage für ein Modell dieser Datendomäne. Je genauer die Daten dabei die Realität widerspiegelt, desto genauer die darauf basierenden Modelle für die reale Welt. Solch eine Modellierung ist aber nicht nur von der Datenqualität abhängig, sondern auch von der Art und Weise, wie der Modellierungsprozess entwickelt wurde, denn Sprachmodelle ermitteln zunächst einmal Wortwahrscheinlichkeit durch Analyse von Textdaten. Sie interpretieren diese Daten, indem sie sie durch einen Algorithmus leiten, der Regeln für den Kontext in der natürlichen Sprache aufstellt. Anschließend wendet das Modell diese Regeln bei Sprachaufgaben an, um neue Sätze genau vorherzusagen oder zu produzieren. Das Modell lernt im Wesentlichen die Merkmale und Eigenschaften der Grundsprache und verwendet diese Merkmale, um neue Sätze zu verstehen. Dabei gibt es verschiedene probabilistische Ansätze zur Modellierung von Sprache, die sich je nach Zweck des Sprachmodells unterscheiden. Und genau hier fangen die kleinen, aber entscheidenden Unterschiede bei der technischen Grundlage eines KI-gestützten Marketing Technology Stacks an: Aus technischer Sicht unterscheiden sich die verschiedenen Modellierungsansätze durch die Menge an Textdaten, die sie analysieren, und durch die Mathematik, die sie zu deren Analyse verwenden. Ein Sprachmodell, das für die Generierung von Sätzen für einen automatisierten What´s App Bot entwickelt wurde, kann beispielsweise andere mathematische Verfahren verwenden und Textdaten auf andere Weise analysieren als ein Sprachmodell, das für die Bestimmung der Wahrscheinlichkeit einer Suchanfrage auf einer Landingpage entwickelt wurde. Einige gängige statistische Sprachmodellierungstypen sind:
- Unigramm
Das Unigramm ist der einfachste Typ eines Sprachmodells. Es berücksichtigt bei seinen Berechnungen keinen konditionierenden Kontext. Es wertet jedes Wort oder jeden Begriff unabhängig aus. Unigramm-Modelle werden üblicherweise für Sprachverarbeitungsaufgaben wie die Informationsbeschaffung verwendet.
- Q-Grams oder N-Grams
Hierbei geht es um benachbarte Folgen von Lauten, Silben, Buchstaben oder Worten innerhalb eines Textes oder eines semantischen Kontextes. N-Grams werden zur Analyse von Wahrscheinlichkeiten genutzt, um vorherzusagen, welches Element bei einem gegebenen Vorgänger folgen wird. Sie erstellen eine Wahrscheinlichkeitsverteilung für eine Folge von n, bei der man sich n als Menge an Kontext vorstellen, die das Modell berücksichtigen soll.
- Entropie Methode
Dieses Modell bewertet Text anhand einer Gleichung, die Merkmalsfunktionen und n-Grams kombiniert. Das Modell basiert auf dem Prinzip der Entropie, das besagt, dass die Wahrscheinlichkeitsverteilung mit der größten Entropie die beste Wahl ist. Mit anderen Worten: Das Modell mit dem größten Chaos und dem geringsten Spielraum für Annahmen ist das genaueste.
- Bidirektional
Im Gegensatz zu N-Grams, die den Text in einer rückwärtigen Richtung analysieren, analysieren bidirektionale Modelle den Text in beide Richtungen, vorwärts und rückwärts. Diese Modelle können jedes beliebige Wort in einem Satz oder Textteil vorhersagen. Die bidirektionale Untersuchung von Text erhöht die Genauigkeit der Ergebnisse. Dieser Typ wird häufig bei Anwendungen für maschinelles Lernen und Spracherzeugung eingesetzt. Google verwendet beispielsweise ein bidirektionales Modell zur Verarbeitung von Suchanfragen.
- Neurolinguistische Modelle
Dieser Modelltyp stellt Wörter als nichtlineare Kombination von Gewichten in einem neuronalen Netz dar. Der Prozess, bei dem einem Wort ein Gewicht zugewiesen wird, wird auch als Worteinbettung bezeichnet. Dieser Typ ist besonders nützlich, wenn die Datensätze immer größer werden, da größere Datensätze oft mehr einzigartige Wörter enthalten. Das Vorhandensein vieler einzigartiger oder selten verwendeter Wörter kann für lineare Modelle wie ein N-Gram Probleme verursachen. Der Grund dafür ist, dass die Anzahl der möglichen Wortfolgen zunimmt und die Muster, die die Ergebnisse bestimmen, schwächer werden. Durch eine nicht lineare, verteilte Gewichtung der Wörter kann dieses Modell "lernen", sich den Wörtern anzunähern und wird daher nicht durch unbekannte Werte in die Irre geführt. Sein "Verständnis" eines bestimmten Wortes ist nicht so stark an die unmittelbar umgebenden Wörter gebunden wie bei n-gram-Modellen.
Die hier beispielhaft aufgezeigten Modelltypen können natürlich auch in Verbindung miteinander verwendet werden und damit erheblich komplexer aber eben auch genauer in ihrer Anwendung verwendet werden. Konkret ist also eine Kombination aus bidirektionalem und neurolinguistischem Modell besser, um Mehrdeutigkeit und Variation in der Sprache zu berücksichtigen. Ferner sollte ein gutes Sprachmodell in der Lage sein, langfristige Abhängigkeiten zu verarbeiten und mit Wörtern umzugehen, die ihre Bedeutung von anderen Wörtern ableiten können, die in weit entfernten, ungleichen Teilen des Textes vorkommen. Ein Sprachmodell sollte in der Lage sein zu verstehen, wann ein Wort auf ein anderes Wort aus großer Entfernung verweist, anstatt sich immer auf nahe gelegene Wörter innerhalb einer bestimmten festen Geschichte zu verlassen. Dies erfordert ein komplexeres, kombiniertes Modell.
Ob Google-Suche, eine Autovervollständigungsfunktion oder ein Sprachassistent: Sprachmodellierung ist in modernen NLP-Anwendungen von entscheidender Bedeutung. Sie ist der Grund dafür, dass Maschinen qualitative Informationen verstehen können. Jeder Sprachmodelltyp wandelt auf die eine oder andere Weise qualitative Informationen in quantitative Informationen um. Auf diese Weise können Menschen mit Maschinen kommunizieren. Google Translate und das erste Unicorn aus Köln – DEEPL - sind zwei Programme, die dies tun. SDL Government ist ein weiteres Programm, das für die US-Regierung ausländische Social Media Feeds in Echtzeit übersetzt. ImMarketing wiederum haben wir es häufig bei NLP Anwendungen mit der Analyse von Produktbewertungen oder allgemeinen Beiträgen über das Unternehmensangebot sowie Marken zu tun. Auch die Analyse interner Daten wie Mitarbeiterumfragen und Chats des Kundensupports nutzen Kombinationen aus verschiedenen Sprachmodellen und reichern diese mit einer Sentiment Analyse an. Sie kann insbesondere verwendet werden, um Meinungen und Einstellungen zu verstehen, die in einem Text zum Ausdruck kommen. Einige Toolanbieter für eine Sentiment Analyse sind zum Beispiel Repustate, Talkwalker, Cogia und Hubspot's ServiceHub. Das NLP-Tool von Google, genannt Bidirectional Encoder Representations from Transformers (BERT), wird ebenfalls für die Sentiment Analyse verwendet und ist oft ein Teil der zunehmenden „Allzweck-Sprachmodelle“. Diese „One Modell fit all“ Tools macht die Auswahl für den individuellen Toolstack im Maschinenraum modernen Marketings nicht einfacher. Im Gegenteil. Es wird immer schwerer die Grenzen einiger Modelle zu verstehen und deshalb einige Forscher des Stanford Center for Research einen Benchmarking Rahmen entwickelt, der hilft die Stärken und Schwächen von dreißig bekannten großen Sprachmodellen anhand einer Reihe von Szenarien und Messgrößen zu bewerten. Diese HELM genannte Studie (Holistic Evaluation of Language Models) beleuchtet nicht nur Metriken innerhalb spezifischer Szenarien, sondern bezieht Use Cases und erwünschte Leistungen auf der Grundlage von Relevanz (z.B. benutzerseitige Anwendungen), Abdeckung (z.B. verschiedene Dialekt) und Durchführbarkeit (d.h. Rechenaufwand) ein.
Die Ergebnisse
Das HELM-Team bewertete Sprachmodelle von zwölf Organisationen: AI21 Labs, Anthropic, BigScience, Cohere, EleutherAI, Google, Meta, Microsoft, NVIDIA, OpenAI, Tsinghua University und Yandex. Einige dieser Modelle sind Open Source verfügbar, einige sind über kommerzielle APIs verfügbar und andere sind rein unternehmenseigene Entwicklungen, die nicht extern oder nur gegen Gebühr nutzbar sind:
- Open Source vs. unternehmenseigene Entwicklungen
Die besten Modelle werden von den entwickelnden Unternehmen meist nicht gänzlich Open Source gestellt. Insbesondere bei Knowledge basierten Sprachmodellen glauben die Unternehmen, ihren vermeintlichen „Vorsprung“ für sich behalten zu müssen. Das resultiert sicher aus der nach wie vor bestehenden Wettbewerbs -Denke vieler tradierter Unternehmensmanagements.
- Genauigkeit und Resilienz.
HELM hat festgestellt, dass die genauesten Modelle auch die robustesten sind. Genauer gesagt, wurde über alle Modelle und Szenarien hinweg festgestellt, dass es sehr starke Korrelationen zwischen Genauigkeit und Robustheit gibt.
- Toxic Content
Zumindest im Kontext realistischer Anwendungsfälle (z. B. Zusammenfassung von Nachrichtenartikeln) stellten die Stanford Forscher fest, dass die Modelle tatsächlich nur selten problematisches Verhalten zeigten, wie z. B. die Generierung von toxischem, rassistischem, voreingenommenem oder anderweitig schädlichem Text bzw. Fake News.
- urheberrechtlich geschütztes und lizenziertes Material.
Das HELM-Team stellte fest, dass die Modelle nur selten lange Sequenzen wortwörtlich wiedergaben. Ein wichtiger Vorbehalt ist, dass sie feststellten, dass die Wiederholungsrate mit der Modellgenauigkeit korreliert.
- maschinengenerierte Fake News
Bei menschlichen Bewertungen durch Crowdworker fanden die Forscher heraus, dass Modelle effektiv Fake News generieren können, um einen bestimmten Standpunkt zu unterstützen.
- WYSIWYG
Die getesteten Modelle reagierten sehr empfindlich auf die Art und Weise, wie die Eingabeaufforderungen geschrieben wurden.
- Modellgröße und -genauigkeit
Bei der Vorhersage der Modellgenauigkeit ist es nicht sinnvoll, die Größe der Modelle verschiedener Modellanbieter zu vergleichen. Das HELM-Team stellte fest, dass die Beziehung zwischen Modellgröße und Genauigkeit nicht sehr eindeutig ist. Bei Modellen, die zur gleichen Familie gehören (z. B. unterschiedlich große Cohere-Modelle), ist die Genauigkeit jedoch stark mit der Modellgröße korreliert.
Fazit
Das Aufkommen von großen Sprachmodellen hat die KI revolutioniert, was auch immense Auswirkungen auf den TechStack im modernen Marketing hat. Diese Modelle werden schnell in bedeutende und weit verbreitete Sprachanwendungen umgewandelt, deren Einsatz in naher Zukunft noch zunehmen wird. Umso wichtiger für den Marketing Engineer ist es also, ein tiefgreifendes technisches Verständnis für die unterschiedlichen Sprachmodelle und ihre Leistungspotenziale zu entwickeln. Damit die daraus resultierende dynamische Kundendatenverarbeitung sowie die Kundenzentrierung von Marketingstrategien die Wettbewerbsfähigkeit in zukünftig digital transformierenden Märkten sicherstellt und nötige Investitionen in KI-gestützte MarTech strukturiert, methodisch und nachhaltig absichert.
