Die Vektor-Suche lebte lange Zeit im Schatten, aber mit dem Aufkommen von maschinellem Lernen und Einbettungen in Large Language Modells wurde sie populär - indem sie die Suche nach semantischer Bedeutung anstelle von Schlüsselwörtern ermöglichte. Aber ist die semantische Suche (Vektor-Index) tatsächlich ein Ersatz/Nachfolger für die ältere Schlüsselwortsuche (Invertierter Index), wie einige behaupten, oder ist sie eher ergänzend?
In der Welt der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) ist die Informationsbeschaffung ein zentraler Aspekt, der den Wert und die Effektivität von Modellen bestimmt. Große generative Sprachmodelle (LLMs) sind darauf angewiesen, Informationen abzurufen, um ihren größten Nutzen zu bieten. In der ersten Hälfte des Jahres 2023 hat sich jedoch eine starke Voreingenommenheit entwickelt: Die Informationsbeschaffung für LLMs muss durch die Vektorsuche erreicht werden. Aber gehört die Key Word Suche damit zum alten Eisen und hat ihre Schuldigkeit getan?
In der LLM-Community ist es allgemein bekannt, dass das gespeicherte Wissen großer LLMs unzuverlässig und schwer zu aktualisieren ist. Dennoch sind sie effektiv darin, über den Kontext zu urteilen, der zur Inferenzzeit bereitgestellt wird. Die Substitution einer einzigen Lösungsart (Vektordatenbanken) für eine Fähigkeit (Informationsbeschaffung) muss allerdings differenziert gesehen werden. Schließlich geht es darum, das richtige Werzeug für die richtige Aufgabe zu wählen und nicht allein einem Trend, ausgelöst von Venture-Capital-Unternehmen (VCs), Rechnung zu tragen.
Vektorsuche: Ein Werkzeug, nicht die Lösung
Die Vektorsuche ist zweifellos eine hervorragende Lösung für viele mit LLMs verbundene Abrufprobleme. Sie hat sich in der Praxis bewährt und wird seit fast zwei Jahren erfolgreich eingesetzt. Allerdings hat sie ihre Grenzen. Sie kämpft unter bestimmten Bedingungen und glänzt unter anderen. Die Vorstellung, dass sie "die" Lösung für die Informationsbeschaffung für LLMs ist, ist schlichtweg eine Fehlinformation.
In Ihrer Anwendung könnte die optimale Lösung eine Volltext-Schlüsselwortsuche, eine Vektorsuche, eine relationale Datenbank, eine Graphdatenbank oder eine Mischung aus diesen sein. Es ist wichtig, das wahre Landschaftsbild der Informationsbeschaffung zu erkennen und zu verstehen.
Die Rolle der Vektordatenbanken
Die semantische Suche hat sich in den Schatten der Schlüsselwortsuche begeben und ist erst mit der Einführung von Vektorindizes und maschinellem Lernen richtig aufgeblüht. Diese Methode ermöglicht es, nach Bedeutungen, Konzepten und Ähnlichkeiten zu suchen, anstatt sich auf exakte Schlüsselwörter zu beschränken. Die semantische Suche eröffnet uns eine völlig neue Dimension des Suchens, indem sie uns erlaubt, nicht nur Texte, sondern auch Bilder, Gesichtserkennung und Fingerabdrücke zu durchsuchen. Mit semantischer Suche können wir wahre Magie erleben, indem wir beispielsweise "Schokoriegel + Kokos = Bounty" berechnen.
Vektordatenbanken spielen dabei entscheidende Rolle in der AI-nativen Technologie-Stack. Sie sorgen für eine schnelle Abrufung von aus LLMs generierten Einbettungen, um verschiedene Anwendungsfälle zu bedienen. Dieses Muster wird voraussichtlich weiter wachsen. Das letzte Jahr hat eine Verbreitung von Open-Source-Vektordatenbanken gesehen, um diesem Bedarf gerecht zu werden.
Dennoch ist die Vektorsuche nicht immer die richtige Lösung. Viele Praktiker verstehen dies und verwenden die Vektorsuche oft als Teil ihres Informationserfassungssystems. Es gibt Ressourcen, die zeigen, wo die Relevanz der Vektorsuche von traditionellen, schlüsselwortbasierten Alternativen übertroffen wird.
Die Rolle der Schlüsselwortsuche
Der unverzichtbare Aspekt der Schlüsselwortsuche: Die Schlüsselwortsuche hat sich seit Jahrzehnten bewährt und ist nach wie vor die bevorzugte Methode, wenn es um die Suche nach exakten Begriffen wie Namen, Nummern, Lizenzplatten oder Domainnamen geht. Ihre Stärken liegen in der schnellen Indexierung großer Dokumentenmengen, hoher Abfragegeschwindigkeit und präzisen Ergebnissen bei exakter Übereinstimmung. Sie ist die erste Wahl, wenn es darum geht, die Nadel im Heuhaufen zu finden. Die Schlüsselwortsuche ist auch weniger rechenintensiv als die Vektorsuche, was sie zu einer kosteneffizienten Lösung für Informationsabrufaufgaben macht und gerade in industriellen Large Scale Datenbeständen, die eine eindeutige Antwort auf eine Suche ausgeben müssen, die Lösung der Wahl ist.
Die Realität der Unternehmensanwendungen
Die Realität ist, dass ein großer Teil der Unternehmens-LLM-Anwendungen im Wesentlichen Suchsysteme mit einer generativen Benutzeroberfläche und einer Zielabrufeinheit eines "Chunks" oder kurzen Datensatzes anstelle eines langen Datensatzes sind. Es sei denn, es gibt eine erhebliche Abweichung in Ihrem Nutzungsverhalten, sind die Relevanzkriterien für die Suche und die LLM-Abrufung praktisch austauschbar. Anstatt uns also in dem Glauben zu wiegen, dass eine Methode die andere ersetzt, sollten wir lieber die Stärken beider Ansätze erkennen und ihre Fusion als die ultimative Lösung betrachten. Durch die Kombination von Schlüsselwortsuche und semantischer Suche erhalten wir eine Suche, die sowohl Präzision als auch Vollständigkeit der Ergebnisse bietet. Wir können große Dokumentenbestände effizient indizieren und skalieren, während wir gleichzeitig Bedeutungen, Konzepte, Ähnlichkeiten und Synonyme verstehen. Die Fusion dieser beiden Ansätze ermöglicht es uns, die verschiedenen Anforderungen und Bedürfnisse der Benutzer in verschiedenen Domänen und Situationen abzudecken.
Fazit
Die Verschmelzung von Schlüsselwortsuche und semantischer Suche ist der Schlüssel zu einer ganzheitlichen Suchlösung, die die Stärken beider Ansätze vereint. Durch die Kombination von Präzision und Vollständigkeit, Skalierbarkeit und Bedeutungsverständnis können wir Suchergebnisse liefern, die den Anforderungen unserer Benutzer in allen Bereichen gerecht werden. Anstatt uns auf eine "entweder/oder"-Entscheidung festzulegen, sollten wir die Synergie nutzen, die durch die Fusion dieser beiden Ansätze entsteht, und die Vorteile beider Welten voll ausschöpfen, denn sowohl die Vektorsuche als auch die Schlüsselwortsuche haben ihre Vor- und Nachteile. Es ist wichtig, die spezifischen Anforderungen und Bedingungen Ihrer Anwendung zu berücksichtigen, bevor man sich für eine Methode entscheidet. Es ist auch wichtig, sich nicht von der aktuellen Begeisterung (und eines VC Hypes) für eine bestimmte Technologie blenden zu lassen, sondern eine informierte Entscheidung zu treffen, die auf den tatsächlichen Bedürfnissen der jeweiligen Anwendung basiert. Schließlich gibt es in der Welt der KI und des ML selten eine "Einheitslösung". Stattdessen ist es oft eine Frage des richtigen Werkzeugs für den richtigen Job sowie nicht zu vergessen die Herausforderungen der Implementierung: Die Skalierung für eine hohe Anzahl von Dokumenten und gleichzeitigen Benutzern, die Gewährleistung niedriger Latenzzeiten bei Abfragen und die Integration zusätzlicher Funktionen wie Rechtschreibkorrektur, Vervollständigung oder Ergebnisgruppierung sind nur einige der Aufgaben, die es zu bewältigen gilt. Sowohl die Schlüsselwortsuche als auch die semantische Suche teilen sich diese Herausforderungen und erfordern eine sorgfältige Planung und Implementierung.
Wenn auch Ihr Unternehmen große Datenbestände mit Hilfe von KI analysiert und in mächtige Tools zur Automatisierung von Marketing und Vertrieb integriert oder den vorhandenen TechStack mit solchen Applikationen ausbauen möchte, bieten unsere Marketing Engineers im Bereich der Requirement Engineerings sowie der nachfolgenden Orchestrierung und Implementierung von Marketing Technologie Anwendungen folgende Einstiegspunkte für Marketing Entscheider und ihre Teams an:
- Unser Marketing Automation Power Briefing vermittelt kompaktes Basiswissen über die aktuelle Anbieterlandscape an Graph Database Anwendungen, Large Language Modells sowie entsprechenden AI-gestützten Applikationen für Marketing- und Salesentscheider und ihre Teams.
- Unser Markenautomat Readiness Check findet methodisch Anwendungenspotenziale für das Mastering hoher Komplexität in Large Scale Datenbständen industrieller Umgebungen.
- Mit unserem Implementation-Sprint setzen wir konkrete, klar abgezirkelte Graph-Database Lösungen – direkt für Ihre Marketing & Sales Operations um.
- In Learning Journeys zeigen Ihnen unsere Marketing Engineers die Potenziale Ihrer bestehen Martech Tools auf und helfen mit konkreten Anwendungen und Tricks, die Möglichkeiten bestehenden TechStacks optimal auszunutzen. Denn nichts ist teurer, als ungenutzte oder teilgenutzte, aber bezahlte Marketing Technologie!!!
Gern kontaktieren und fordern Sie uns!
Bettina Busch
Geschäftsführerin und Vorstandsvorsitzende der Eckhard Busch Stiftung
...es sich anfühlt, wie mit einem guten Freund zu arbeiten, von dem man verstanden wird auch ohne viele Worte. markenmut ist seit 13 Jahren an unserer Seite und ist nicht nur ein hoch kompetentes Team, mit sehr guter Organisation und Projektplanung, sondern verfügt auch über exzellente Spezialisten und Umsetzer.
Carsten Stöhr
Country Manager bei IPERCERAMICA
…wir dort immer wieder kreative und vor allem innovative Impulse für neue Vertriebs- und Marketingaktivitäten bekommen. Gerade im Bereich der Marketing Technologie ist markenmut „on the edge“ unterwegs und dabei extrem pragmatisch sowie vertriebsorientiert. Das hilft uns, unserem Wettbewerb immer einen Schritt voraus zu sein.
Lakshmi Mittal
Executive Chairman von ArcelorMittal
Alexander Fisch
Leiter Personalamt Stadt Trier
…wir dort die perfekte Mischung aus fachlicher Expertise, Kreativität aber auch Zielstrebigkeit in einem Unternehmen gefunden haben. Für unsere Entwicklungen hat sich die Zusammenarbeit als absoluter Glücksfall erwiesen.
Songül Göktas-Rosati
Geschäftsführerin BENTOUR REISEN
… ich die Kombination aus Leidenschaft, Verstand und Fokus sehr schätze. Markenmut versteht unser Geschäft in all seinen Facetten – von der komplexen Branchenspezifik bis zur persönlichen Verbundenheit. Dazu gefallen mir deren offene Worte, ihre unternehmerischen Ratschläge und ihre guten Idee. Das Ganze geprägt durch Loyalität und Vertrauen.
Georges Krombach
Co-Owner Landewyck Tobacco SA
… because they understand what matters: adding value and power to your brands while keeping them human and within reach.
Michael Gisbertz
Kaufmännischer Leiter bei Coral Travel & Ferien Touristik GmbH
… ich keinen vergleichbaren Agenturpartner kenne, der kompromissloser in unserem Geschäftsmodell denkt und berät statt in seinem eigenen. „Mut statt Mammon“ meinen die Ernst – auch in eigener Sache.
Alexander Oberbillig
Senior Online Marketing Manager Universum Inkasso Group
… wegen den Leuten, der Kreativität, dem Pragmatismus, dem immer Up-to-Date bleiben mit gleichzeitigem Blick aufs Wesentliche und weil die Ergebnisse einfach stimmen.
Ralf Linden
Geschäftsführer vobapay und Vorstand der Voba Finanz AG
… hier stets ein Austausch auf Augenhöhe stattfindet. Neue Ideen und Konzepte zu entwickeln ist mit markenmut immer eine angenehme und fruchtbare Zusammenarbeit. Mit der Hands-on Mentalität finden wir gemeinsam die Beste Lösung in unserer digitalen und analogen Umgebung.
Dr. Carsten Seeliger
Geschäftsführer Thomas Cook Deutschland
… man mit den Kolleginnen und Kollegen, sehr offen und kreativ nach Lösungen suchen kann und diese dann gemeinsam pragmatisch auf die Straße bringt.
Andreas Baron Freytag von Loringhoven
Founder & CEO Azur Fragrances
… die mich ständig provozieren, meine so liebgewonnenen altbewährten und vor allem komfortablen Habits zu überdenken, über Bord zu schmeißen und mich dann kopfüber ins neue Unbekannte zu stürzen. Zugegeben ist das anstrengend – hält aber jung und hält vor allem unser Business auf der Erfolgsspur.
Dr. Bernhard Gründer
Geschäftsführer Socoto
… man in einem Team von hochmotivierten Mitarbeitern immer viele offene, konstruktive Ohren und Augen findet, die die eigenen Herausforderungen reflektierend stets mit kreativen, frischen aber auch pragmatischen Vorschlägen zurückkommen.
Stefan Schneider
Vorsitzender des Vorstand - AXXION S.A.
… Kreativität nicht auf (unseren) Bäumen wächst und es gut ist jemanden zu haben, an dessen Ernte man teilhaben kann.
Beat Zingg
Leitung Erlebnisberatung und Gästezufriedenheit bei Chamäleon Reisen GmbH
… ich gerne mit kompetenten und zuverlässigen Leuten arbeite, die dazu auch noch sympathisch und humorvoll sind.
Stephanie Wedehase
Head of Marketing Keller & Bohacek GmbH & Co. KG
…Ihre Ideen frisch sind – die Kreativität, Konzeption, Implementation und tägliche Arbeit sich an dem Geschäft des Kunden ausrichtet. Und vor allem: man bleibt nicht beim „Altbewährten“ stehen, sondern wird immer wieder „herausgefordert“! Ausgeruht wird nicht!
Martin Widenka
as Head of Social Media Thomas Cook Continental Europe / Gründer und geschäftsführender Partner von “we are consulting”
... weil deren Lernkurve in Bezug auf unser Geschäft sehr steil ist. Das Aneignen von touristischem Verständnis und tiefem Fachwissen des uns betreuenden Agenturteams in kürzester Zeit hat mich sehr beeindruckt.
Albin Loidl
Geschäftsführer der Alpha Reisebüro-Partner GmbH
... die Kombination aus Kreation echt pfiffiger aber auch marktattraktiver Ideen mit handwerklich sehr gut gemachter Umsetzung und all dies mit persönlicher, serviceorientierter Note in der Zusammenarbeit, einfach perfekt für und zu uns passt.
Svenja Lonicer
Bereichsleitung Marketing HassiaGruppe / BIONADE, ROSBACHER, etc.
... weil sie uns neue Horizonte eröffnet haben und uns immer wieder herausfordern besser zu werden.
Sascha Nitsche
Gründer und geschäftsführender Gesellschafter SOLAMENTO REISEN
... ich als Unternehmer im diversifizierten Marketing systemübergreifende Lösungen brauche, die mir bei markenmut aus einer Hand geliefert werden. Oder knapp ausgedrückt: weil ich es kann! Nur Mut!
Claude Nesser
Managing Partner BtoCee s.à.r.l. Luxemburg
... die ganze Agentur immer ehrlich und aufs Wesentliche konzentriert ist. Kein unnötiger Firlefanz, der die Kunden nur Zeit und Geld kostet. Weiter so!
Gerhard Weber
Geschäftsführer mamito GmbH
... durch die Marketingfirma ist unser einheitliches Bild nach außen professionell und findet bei unseren Kunden eine wertschätzende Wiedererkennung. Auf Grundlage des Corporate Design wurden unsere Kundenwünsche stets zeitnah und kompetent umgesetzt. Unser Fazit ist, markenmut tut unserem Marketing gut.
Edwin Steffen
Geschäftsführer Leyendecker Holzland GmbH & Co. KG
... das Team äußerst kreativ unsere Anforderungen erfolgreich umsetzt.
Jens Jörgensen
Geschäftsführer Apollo HAUS GmbH
... ich die Zusammenarbeit sehr schätze. Hands on und kollegiales Arbeiten auf Augenhöhe. Ich kann mich immer auf sie verlassen.
Georg Glaßer
Geschäftsführer ActioVITA GmbH
... deren Marketing Technologie Wissen uns als Mittelständler up to date hält. Mit deren Ideen und Lösungen halten wir den Wettbewerb auf Abstand und bekommen wichtige externe Impulse für unser Wachstum“
Christian Schütt
GF Nowadays Clothing
... markenmut unser Geschäft bis ins letzte Detail versteht. Deshalb sind die Vorschläge und Kampagnen aus deren Feder ein echter Mehrwert für unseren Shopify Shop. Nachweisbar steigern wir so Traffic und Conversions kontinuierlich. Und das Ganze bei überschaubaren Kosten.
Badr Haddad
Inhaber, Grilladine Düsseldorf
... als ich während der Corona Krise quasi über Nacht einen Click&Pick Shop aus meinem marokkanischen Restaurant machen musste, war markenmut extrem schnell, intuitiv und pragmatisch an meiner Seite. Die haben das alles geregelt und ich hab mich auf die Produktion der Angebote konzentrieren können.
Dirk Piepenbrink
Inhaber und Gründer von Pasta Fresca
... zunächst war ich skeptisch, ob ich mir überhaupt eine Agentur leisten kann. Heute weiss ich, dass es eine nachweislich lohnende Investition in mein Geschäft war. Vom Logo über das Verpackungsdesign bis zur Anzeige ist alles aus einem Guss und sorgt für ein Premium-Image meiner Manufaktur Produkte.
Gernot Bilz
Projektleiter Talent Acquisition der Uni Liechtenstein
... weil deren Marketing Engineers unsere bestehenden Strukturen und Möglichkeiten sehr schnell antizipierten und pragmatische Lösungen für die Automation unseres Student Recruitings entwickelten.
Koray Çavdir
Geschäftsführer OTI Holding Germany
... die Kombination aus touristischer Erfahrung, vertrieblicher Leidenschaft, strategischer Kompetenz und Marketing Technologie Know How bei keinem anderen Beratungsdienstleister auf einem solchen Niveau ausgeprägt ist. Das macht die Sparringsrunden in der Zusammenarbeit zwar anstrengend und herausfordernd – bringen aber auch die richtigen und wichtigen Impulse, um wettbewerbsfähig in unserem hart umkämpften Markt zu bleiben.
Holger Pfaff
Managing Director Cinedom
... weil die großes Kino auch für nicht so große Budgets bieten. Kreativ auf den Punkt – dazu mit wenig Agentur Egozentrik und dafür umso ausgeprägter Dienstleistungsattitüde. Schnell, auf den Punkt und Preis-Wert im wahrsten Sinne des Wortes.
Jochen Krebühl
Geschäftsführer Stiftung Natur und Umwelt Rheinland-Pfalz
... die Kombination aus der analytischen Erfassung der Ausgangssituation, der kompetenten Beratung und der hohen Kreativität auch unter hohem Zeitdruck sehr beeindruckend ist!
Paco Nathan
Managing Partner bei derwen.ai
I like to work with markenmut, because…..
…they understand our audience (corporate executives) better than our audience understands themselves -- markenmut can speak directly to the executive mind, on their own level. Plus, the results are produced so well!!
Dr. Bernd M. Samland
CEO bei Endmark GmbH
„…die Kreativ-Kollegen dort eine hohe Wertschätzung und Empathie für gelungene Marken-Namen und -Sprache haben. Was wir in Desired Response und Markenpassung an Arbeit und Leidenschaft stecken, wird bei markenmut mit gleichem Enthusiasmus in Sachen Logo & CD weiter entwickelt.“