KI, die echten Geschäftswert schafft, erfordert echte Arbeit. Aber es lohnt sich.
Originalbild mit freundlicher Genehmigung von The Everett Collection auf Shutterstock. Bild bearbeitet vom Autor.
GenAI ist überall präsent, und Organisationen in verschiedenen Branchen setzen ihre Teams unter Druck, um sich am Wettlauf zu beteiligen — 77% der Unternehmensführer befürchten, dass sie bereits von den Vorteilen von GenAI ausgeschlossen sind.
Daten-Teams sind dabei, dem Ruf zu folgen. Aber den Aufbau eines generativen KI-Modells, das tatsächlich einen Mehrwert für das Geschäft schafft, ist schwierig.
Und langfristig gesehen reicht eine schnelle Integration mit der OpenAI-API nicht aus. Es ist GenAI, aber wo ist der Graben? Warum sollten Benutzer dich ChatGPT vorziehen?
Diese schnelle Überprüfung des Kästchens fühlt sich wie ein Schritt nach vorne an, aber wenn Sie nicht bereits darüber nachdenken, wie Sie LLMs mit Ihren proprietären Daten und Ihrem Geschäftskontext verbinden, um tatsächlich differenzierten Wert zu schaffen, hinken Sie hinterher.
Das ist keine Übertreibung. Ich habe allein in dieser Woche mit einem halben Dutzend Datenführern über dieses Thema gesprochen. Keinem von ihnen entging, dass dies ein Wettlauf ist. Am Ende wird es Gewinner und Verlierer geben. Die Blockbusters und die Netflixes.
Wenn Sie das Gefühl haben, dass der Startschuss gefallen ist, aber Ihr Team immer noch an der Startlinie steht, sich dehnt und über "Blasen" und "Hype" plaudert, habe ich 5 harte Wahrheiten zusammengetragen, um die Selbstzufriedenheit abzuschütteln.
Harte Wahrheit #1: Ihre generativen KI-Funktionen werden nicht gut angenommen und Sie sind langsam bei der Monetarisierung.
"Barr, wenn GenAI so wichtig ist, warum werden die aktuellen Funktionen, die wir implementiert haben, so schlecht angenommen?
Nun, es gibt ein paar Gründe. Einer davon ist, dass Ihre KI-Initiative nicht als Reaktion auf einen Zustrom klar definierter Benutzerprobleme entwickelt wurde. Für die meisten Datenteams liegt das daran, dass Sie im Wettlauf sind, es noch früh ist und Sie etwas Erfahrung sammeln möchten.
Allerdings wird es nicht lange dauern, bevor Ihre Benutzer ein Problem haben, das am besten von GenAI gelöst wird, und wenn das passiert, werden Sie im Vergleich zu Ihrem Tiger-Team, das Möglichkeiten zur Verknüpfung von GenAI mit einem Anwendungsfall ausarbeitet, eine viel bessere Akzeptanz haben.
Lassen Sie mich Ihnen ein Beispiel geben. Denken Sie an eine Produktivitätsanwendung, die Sie möglicherweise täglich zur Weitergabe organisatorischen Wissens verwenden. Eine solche App könnte eine Funktion bieten, um Befehle wie "Fassen Sie dies zusammen", "Verlängern" oder "Ton ändern" auf Blöcken unstrukturierter Texte auszuführen. Ein Befehl entspricht einem KI-Guthaben.
Ja, das ist hilfreich, aber es ist nicht differenziert.
Vielleicht entscheidet sich das Team, einige KI-Guthaben zu kaufen, oder sie klicken einfach auf die andere Registerkarte und fragen ChatGPT. Ich möchte den Nutzen, proprietäre Daten nicht an ChatGPT preiszugeben, nicht vollständig übersehen oder herunterspielen, aber es ist auch eine kleinere Lösung und Vision als das, was in den Gewinnaufrufen im ganzen Land dargestellt wird.
Dieser lästige mittlere Schritt vom Konzept zum Wert. Bild mit freundlicher Genehmigung von Joe Reis auf Substack.
Also überlegen Sie: Was ist Ihr GenAI-Unterscheidungsmerkmal und Mehrwert? Lassen Sie mich Ihnen einen Hinweis geben: hochwertige proprietäre Daten.
Deshalb ist ein RAG-Modell (manchmal auch ein feinabgestimmtes Modell) so wichtig für Gen AI-Initiativen. Es ermöglicht dem LLM den Zugang zu diesen unternehmenseigenen Daten. Ich werde unten erklären, warum.
Harte Wahrheit #2: Du hast Angst, mehr mit Gen AI zu tun.
Es ist wahr: Generative KI ist einschüchternd.
Natürlich könnten Sie Ihr KI-Modell tiefer in die Prozesse Ihrer Organisation integrieren, aber das fühlt sich riskant an. Seien wir ehrlich: ChatGPT halluziniert und es kann nicht vorhergesagt werden. Es gibt eine Wissensgrenze, die Benutzer anfällig für veraltete Ausgaben macht. Es gibt rechtliche Konsequenzen bei Datenmissbrauch und der Bereitstellung von Verbraucherfehlinformationen, selbst wenn es versehentlich geschieht.
Klingt ziemlich real, oder? Llama 2 denkt auf jeden Fall so. Bild mit freundlicher Genehmigung von Pinecone.
Deine Datenpannen haben Konsequenzen. Und deshalb ist es wichtig zu wissen, was du GenAI genau zuführst und dass die Daten korrekt sind.
In einer anonymen Umfrage die wir an Datenführungskräfte geschickt haben und in der wir gefragt haben, wie weit ihr Team davon entfernt ist, einen GenAI-Anwendungsfall zu ermöglichen, war eine Antwort: „Ich glaube nicht, dass unsere Infrastruktur das ist, was uns zurückhält. Wir gehen hier ziemlich vorsichtig vor - bei der sich so schnell verändernden Landschaft und dem Risiko von Rufschädigung durch einen 'abtrünnigen' Chatbot halten wir uns zurück und warten darauf, dass der Hype etwas abflaut!“
Dies ist ein weit verbreitetes Gefühl unter vielen Datenführungskräften, mit denen ich spreche. Wenn das Datenteam plötzlich kundenorientierte, sichere Daten aufgedeckt hat, dann sind sie in der Verantwortung. Datenverwaltung ist eine massive Überlegung und es ist eine hohe Hürde, die es zu überwinden gilt.
Dies sind reale Risiken, die Lösungen erfordern, aber Sie werden sie nicht lösen, indem Sie nur zuschauen. Es besteht auch das reale Risiko, dass Ihr Unternehmen grundlegend von dem Team gestört wird, das es als Erstes herausgefunden hat.
Das Verankern von LLMs in Ihren proprietären Daten durch Feinabstimmung und RAG ist ein wichtiger Bestandteil dieses Puzzles, aber es ist nicht einfach...
Harte Wahrheit #3: RAG ist schwer.
Ich glaube, dass RAG (retrieval augmented generation) und Feinabstimmung die Eckpfeiler der Zukunft von generativer KI im Unternehmensbereich sind. Obwohl RAG in den meisten Fällen der einfachere Ansatz ist, kann die Entwicklung von RAG-Apps dennoch komplex sein.
Können wir nicht einfach alle anfangen zu RAGen? Was ist das große Problem? Bild mit freundlicher Genehmigung von Reddit.
RAG mag wie die offensichtliche Lösung für die Anpassung Ihres LLM erscheinen. Aber die Entwicklung von RAG bringt eine Lernkurve mit sich, selbst für Ihre talentiertesten Dateningenieure. Sie müssen sich mit prompt engineering, Vektordatenbanken und Einbettungsvektoren, Datenmodellierung, Datenorchestrierung, Datenpipelines... alles für RAG auskennen. Und weil es neu ist (von Meta AI im Jahr 2020 eingeführt), haben viele Unternehmen einfach noch nicht genug Erfahrung damit, um bewährte Verfahren festzulegen.
RAG Anwendungsarchitektur. Bild mit freundlicher Genehmigung von Databricks.
Hier ist eine Vereinfachung der RAG-Anwendungsarchitektur:
- Die RAG-Architektur kombiniert die Informationssuche mit einem Textgeneratormodell, sodass es auf Ihre Datenbank zugreifen kann, während es versucht, eine Frage des Benutzers zu beantworten. 2. Die Datenbank muss eine vertrauenswürdige Quelle sein, die proprietäre Daten enthält, und sie ermöglicht es dem Modell, aktuelle und zuverlässige Informationen in seine Antworten und Überlegungen zu integrieren. 3. Im Hintergrund nimmt eine Datenpipeline verschiedene strukturierte und unstrukturierte Quellen in die Datenbank auf, um sie genau und aktuell zu halten. 4. Die RAG-Kette nimmt die Benutzerabfrage (Text) entgegen und ruft relevante Daten aus der Datenbank ab, um diese Daten und die Abfrage dann an das LLM weiterzugeben, um eine hochpräzise und personalisierte Antwort zu generieren.
Es gibt viele Komplexitäten in dieser Architektur, aber sie hat wichtige Vorteile:
- Es verankert Ihren LLM in genauen proprietären Daten, was ihn viel wertvoller macht. 2. Es bringt Ihre Modelle zu Ihren Daten, anstatt Ihre Daten zu Ihren Modellen zu bringen, was einen relativ einfachen und kostengünstigen Ansatz darstellt.
Wir können sehen, dass dies im modernen Datensystem Realität wird. Die größten Akteure arbeiten mit atemberaubender Geschwindigkeit daran, RAG einfacher zu machen, indem sie LLMs in ihren Umgebungen bereitstellen, in denen Unternehmensdaten gespeichert sind.
Snowflake Cortex ermöglicht es Organisationen jetzt, Daten schnell zu analysieren und KI-Apps direkt in Snowflake zu erstellen. Die neuen Foundation Model APIs von Databricks bieten sofortigen Zugriff auf LLMs direkt innerhalb von Databricks. Microsoft hat den Microsoft Azure OpenAI Service veröffentlicht und Amazon hat kürzlich den Amazon Redshift Query Editor eingeführt.
Snowflake Data Cloud. Bild mit freundlicher Genehmigung von Umesh Patel auf Medium.
Ich glaube, all diese Funktionen haben eine gute Chance, eine hohe Akzeptanz zu finden. Aber sie erhöhen auch den Fokus auf die Datenqualität in diesen Datenspeichern. Wenn die Daten, die Ihre RAG-Pipeline speisen, anomalous, veraltet oder anderweitig unzuverlässig sind, wie sieht die Zukunft Ihrer generativen KI-Initiative aus?
Harte Wahrheit #4: Deine Daten sind sowieso noch nicht bereit.
Werfen Sie einen guten, gründlichen Blick auf Ihre Dateninfrastruktur. Wahrscheinlich hätten Sie, selbst wenn Sie eine perfekte RAG-Pipeline, ein fein abgestimmtes Modell und einen klaren Anwendungsfall bereit für morgen hätten (und wäre das nicht schön?), immer noch keine sauberen, gut modellierten Datensätze, um alles einzupassen.
Angenommen, Sie möchten, dass Ihr Chatbot mit einem Kunden interagiert. Um überhaupt etwas Nützliches zu tun, muss er über die Beziehung dieser Organisation zum Kunden Bescheid wissen. Wenn Sie heute eine Unternehmensorganisation sind, ist diese Beziehung wahrscheinlich über 150 Datenquellen und 5 isolierte Datenbanken definiert... davon sind 3 immer noch lokal.
Wenn das Ihre Organisation beschreibt, ist es möglich, dass Sie ein Jahr (oder zwei!) von Ihrer Dateninfrastruktur entfernt sind, die GenAI bereit ist.
Das bedeutet, wenn Sie die Möglichkeit haben möchten, irgendwann bald etwas mit GenAI zu tun, müssen Sie gestern nützliche, hochzuverlässige, konsolidierte, gut dokumentierte Datensätze in einer modernen Datenplattform erstellen. Oder der Trainer wird Sie ins Spiel rufen und Ihre Hosen werden herunter sein.
Dein Daten-Engineering-Team ist das Rückgrat für die Sicherstellung der Datenqualität. Und ein moderner Daten-Stack ermöglicht es dem Daten-Engineering-Team, die Datenqualität kontinuierlich in die Zukunft zu überwachen.
Harte Wahrheit #5: Du hast wichtige Gen AI-Spieler ohne es zu wissen ins Abseits gedrängt.
Generative KI ist ein Teamsport, besonders wenn es um die Entwicklung geht. Viele Datenteams machen den Fehler, wichtige Spieler aus ihren GenAI-Tiger-Teams auszuschließen, und das kostet sie langfristig.
Wer sollte in einem KI-Tigerteam sein? Führungskräfte oder ein primärer Geschäftsinteressent, um die Initiative anzuführen und die Gruppe an den geschäftlichen Wert zu erinnern. Software-Ingenieure zur Entwicklung des Codes, der benutzerorientierten Anwendung und der API-Aufrufe. Datenwissenschaftler, um neue Anwendungsfälle zu prüfen, Ihre Modelle zu optimieren und das Team in neue Richtungen zu lenken. Wer fehlt hier?
Dateningenieure.
Dateningenieure sind entscheidend für GenAI-Initiativen. Sie werden in der Lage sein, die proprietären Geschäftsdaten zu verstehen, die den Wettbewerbsvorteil gegenüber einem ChatGPT bieten, und sie werden die Pipelines aufbauen, die diese Daten über RAG für das LLM verfügbar machen.
Wenn Ihre Dateningenieure nicht im Raum sind, ist Ihr Tiger-Team nicht in voller Stärke. Die bahnbrechendsten Unternehmen in GenAI sagen mir, dass sie bereits Dateningenieure in alle Entwicklungsteams einbinden.
Das Rennen um die GenAI gewinnen
Wenn eine dieser harten Wahrheiten auf dich zutrifft, mach dir keine Sorgen. Generative KI steckt noch in so frühen Stadien, dass es noch Zeit gibt, von vorne zu beginnen und diesmal die Herausforderung anzunehmen.
Machen Sie einen Schritt zurück, um die Kundenbedürfnisse zu verstehen, die ein KI-Modell lösen kann, bringen Sie Dateningenieure in frühere Entwicklungsphasen, um von Anfang an einen Wettbewerbsvorteil zu sichern, und nehmen Sie sich die Zeit, um eine RAG-Pipeline aufzubauen, die einen kontinuierlichen Strom von hochwertigen, zuverlässigen Daten liefern kann.
Und investieren Sie in einen modernen Datenstapel, um die Datenqualität zur Priorität zu machen. Denn generative KI ohne hochwertige Daten ist einfach nur viel heiße Luft.