L'IA générée qui apporte une réelle valeur commerciale nécessite un réel travail. Mais cela en vaut la peine.
Image originale gracieuseté de The Everett Collection sur Shutterstock. Image modifiée par l'auteur.
GenAI est partout où vous regardez, et les organisations de tous les secteurs mettent la pression sur leurs équipes pour rejoindre la course — 77% des dirigeants d'entreprise craignent déjà de manquer les avantages de GenAI.
Les équipes de données se démènent pour répondre à l'appel. Mais construire un modèle d'IA générative qui apporte réellement de la valeur commerciale est difficile.
Et à long terme, une intégration rapide avec l'API OpenAI ne suffira pas. C'est GenAI, mais où est le fossé ? Pourquoi les utilisateurs devraient-ils vous choisir plutôt que ChatGPT ?
Ce rapide coche dans la case semble être un pas en avant, mais si vous ne réfléchissez pas déjà à la manière de connecter les LLM à vos données propriétaires et à votre contexte commercial pour réellement générer de la valeur différenciée, vous êtes en retard.
Ce n'est pas de l'exagération. J'ai discuté avec une demi-douzaine de responsables des données rien que cette semaine sur ce sujet. Aucun d'entre eux n'a manqué de remarquer qu'il s'agit d'une course. À la ligne d'arrivée, il y aura des gagnants et des perdants. Les Blockbusters et les Netflix.
Si vous avez l'impression que le coup de pistolet de départ a retenti, mais que votre équipe est toujours sur la ligne de départ en train de s'étirer et de discuter de "bulles" et de "hype", j'ai rassemblé 5 vérités difficiles pour aider à secouer la complaisance.
Dur réalité n°1 : Vos fonctionnalités d'IA générative ne sont pas bien adoptées et vous êtes lent à les rentabiliser.
"Barr, si GenAI est si important, pourquoi les fonctionnalités actuelles que nous avons mises en œuvre sont-elles si peu adoptées ?"
Eh bien, il y a quelques raisons. Tout d'abord, votre initiative en matière d'IA n'a pas été conçue en réponse à un afflux de problèmes d'utilisateurs bien définis. Pour la plupart des équipes de données, c'est parce que vous êtes pressés, que c'est le début et que vous voulez acquérir de l'expérience.
Cependant, il ne faudra pas longtemps avant que vos utilisateurs aient un problème qui serait mieux résolu par GenAI, et lorsque cela se produira, vous aurez une adoption bien meilleure par rapport à votre équipe de choc cherchant des moyens d'associer GenAI à un cas d'utilisation.
Et parce qu'il est tôt, les fonctionnalités de l'IA générative qui ont été intégrées sont simplement "ChatGPT mais ici."
Laissez-moi vous donner un exemple. Pensez à une application de productivité que vous pourriez utiliser tous les jours pour partager des connaissances organisationnelles. Une application de ce type pourrait offrir une fonctionnalité pour exécuter des commandes telles que "Résumer ceci", "Rendre plus long" ou "Changer de ton" sur des blocs de texte non structuré. Une commande équivaut à un crédit d'IA.
Oui, c'est utile, mais ce n'est pas différencié.
Peut-être que l'équipe décide d'acheter des crédits d'IA, ou peut-être qu'ils cliquent simplement sur l'autre onglet et demandent à ChatGPT. Je ne veux pas complètement négliger ou minimiser l'avantage de ne pas exposer les données propriétaires à ChatGPT, mais c'est aussi une solution et une vision plus restreinte que ce qui est décrit lors des appels aux résultats à travers le pays.
Cette étape intermédiaire ennuyeuse entre le concept et la valeur. Image gracieuseté de Joe Reis sur Substack.
Alors, considérez : Quel est votre élément différenciateur et valeur ajoutée pour GenAI ? Permettez-moi de vous donner un indice : des données propriétaires de haute qualité.
C'est pourquoi un modèle RAG (ou parfois, un modèle affiné) est si important pour les initiatives de l'IA générative. Il donne à l'IA générative un accès à ces données propriétaires de l'entreprise. Je vais expliquer pourquoi ci-dessous.
Dur vérité n°2 : Vous avez peur d'en faire plus avec Gen AI.
C'est vrai : l'IA générative est intimidante.
Bien sûr, vous pourriez intégrer votre modèle d'IA plus profondément dans les processus de votre organisation, mais cela semble risqué. Soyons réalistes : ChatGPT hallucine et cela ne peut pas être prédit. Il y a une limite de connaissance qui rend les utilisateurs vulnérables à des sorties obsolètes. Il y a des conséquences légales pour la mauvaise manipulation des données et la fourniture d'informations erronées aux consommateurs, même si c'est accidentel.
Ça a l'air assez réel, non ? Llama 2 en est sûr. Image gracieuseté de Pinecone.
Vos erreurs de données ont des conséquences. C'est pourquoi il est essentiel de savoir exactement ce que vous fournissez à GenAI et que les données sont précises.
Dans une enquête anonyme que nous avons envoyée à des responsables de données pour leur demander à quelle distance leur équipe se trouve de la mise en place d'un cas d'utilisation GenAI, une réponse était : "Je ne pense pas que notre infrastructure soit ce qui nous retient. Nous avançons avec beaucoup de prudence ici - avec un paysage qui évolue si rapidement, et le risque de dommages à la réputation d'un chatbot 'sauvage', nous attendons que l'engouement se calme un peu !"
Il s'agit d'un sentiment largement partagé par de nombreux responsables des données avec lesquels je parle. Si l'équipe des données a soudainement mis en avant des données sécurisées orientées client, alors elle est responsable. La gouvernance des données est une considération majeure et c'est un objectif élevé à atteindre.
Il s'agit de risques réels qui nécessitent des solutions, mais vous ne les résoudrez pas en restant sur la touche. Il y a aussi un risque réel de voir votre entreprise être fondamentalement perturbée par l'équipe qui l'aura comprise en premier.
Ancrer les LLMs dans vos données propriétaires avec un ajustement fin et RAG est un élément clé de ce puzzle, mais ce n'est pas facile...
Dur réalité n°3 : RAG est difficile.
Je crois que RAG (recherche augmentée par génération) et le fine-tuning sont les pierres angulaires de l'avenir de l'IA générative d'entreprise. Mais bien que RAG soit l'approche la plus simple dans la plupart des cas, le développement d'applications RAG peut encore être complexe.
Ne pourrions-nous pas tous commencer à RAGer? Quel est le problème? Image gracieuseté de Reddit.
RAG pourrait sembler être la solution évidente pour personnaliser votre LLM. Mais le développement de RAG nécessite une courbe d'apprentissage, même pour vos ingénieurs de données les plus talentueux. Ils doivent connaître l'ingénierie de prompt, les bases de données vectorielles et les vecteurs d'incorporation, la modélisation de données, l'orchestration de données, les pipelines de données... tout cela pour RAG. De plus, comme c'est une technologie récente (introduite par Meta AI en 2020), de nombreuses entreprises n'ont pas encore suffisamment d'expérience pour établir les meilleures pratiques.
Architecture de l'application RAG. Image gracieuseté de Databricks._
Voici une simplification excessive de l'architecture de l'application RAG :
- L'architecture RAG combine la recherche d'informations avec un modèle de génération de texte, ce qui lui donne accès à votre base de données tout en essayant de répondre à une question de l'utilisateur. 2. La base de données doit être une source fiable qui inclut des données propriétaires, et elle permet au modèle d'intégrer des informations à jour et fiables dans ses réponses et raisonnements. 3. En arrière-plan, un pipeline de données ingère diverses sources structurées et non structurées dans la base de données pour la maintenir précise et à jour. 4. La chaîne RAG prend la requête de l'utilisateur (texte) et extrait les données pertinentes de la base de données, puis transmet ces données et la requête au LLM afin de générer une réponse hautement précise et personnalisée.
Il y a beaucoup de complexités dans cette architecture, mais elle présente des avantages importants :
- Il ancre votre LLM dans des données propriétaires précises, le rendant ainsi beaucoup plus précieux. 2. Il amène vos modèles à vos données plutôt que d'amener vos données à vos modèles, ce qui est une approche relativement simple et rentable.
Nous pouvons voir cela devenir une réalité dans la pile de données moderne. Les plus grands acteurs travaillent à une vitesse vertigineuse pour rendre RAG plus facile en servant des LLMs au sein de leurs environnements, là où les données d'entreprise sont stockées.
Snowflake Cortex permet désormais aux organisations d'analyser rapidement les données et de construire directement des applications d'IA dans Snowflake. Les nouvelles API de modèle de base de Databricks offrent un accès instantané aux LLM directement dans Databricks. Microsoft a lancé le service Microsoft Azure OpenAI et Amazon a récemment lancé l'Éditeur de requêtes Amazon Redshift.
Cloud de données Snowflake. Image gracieuseté de Umesh Patel sur Medium.
Je crois que toutes ces fonctionnalités ont de bonnes chances de favoriser une adoption élevée. Cependant, elles mettent également l'accent sur la qualité des données dans ces magasins de données. Si les données alimentant votre pipeline RAG sont anormales, obsolètes ou autrement peu fiables, quel est l'avenir de votre initiative d'IA générative ?
Dur vérité nº4 : Vos données ne sont de toute façon pas prêtes.
Jetez un bon coup d'œil à votre infrastructure de données. Il est probable que même si vous aviez un pipeline RAG parfait, un modèle affiné et un cas d'utilisation clair prêt à être utilisé demain (et ne serait-ce pas agréable?), vous n'auriez toujours pas de jeux de données propres et bien modélisés pour les y brancher.
Disons que vous voulez que votre chatbot interagisse avec un client. Pour être utile, il doit connaître la relation de cette organisation avec le client. Si vous êtes une entreprise aujourd'hui, cette relation est probablement définie à travers 150 sources de données et 5 bases de données cloisonnées... dont 3 sont encore sur site.
Si cela décrit votre organisation, il est possible que vous soyez à un an (ou deux !) de la préparation de votre infrastructure de données pour l'IA générative.
Ce qui signifie que si vous voulez avoir la possibilité de faire quelque chose avec GenAI un jour prochain, vous devez créer des ensembles de données utiles, hautement fiables, consolidés et bien documentés sur une plateforme de données moderne... hier. Sinon, l'entraîneur va vous appeler sur le terrain et vous serez pris au dépourvu.
Votre équipe d'ingénierie des données est l'épine dorsale pour garantir la santé des données. De plus, une pile de données moderne permet à l'équipe d'ingénierie des données de surveiller en continu la qualité des données à l'avenir.
Dur réalité n°5 : Vous avez mis de côté des acteurs critiques de l'IA générative sans le savoir.
L'IA générative est un sport d'équipe, surtout en ce qui concerne le développement. De nombreuses équipes de données commettent l'erreur d'exclure des acteurs clés de leurs équipes GenAI, et cela leur coûte à long terme.
Qui devrait faire partie d'une équipe dédiée à l'IA ? La direction, ou un acteur principal du secteur commercial, pour diriger l'initiative et rappeler au groupe la valeur commerciale. Les ingénieurs logiciels pour développer le code, l'application utilisateur et les appels API. Les data scientists pour envisager de nouveaux cas d'utilisation, peaufiner vos modèles et pousser l'équipe dans de nouvelles directions. Qui manque-t-il ici ?
Ingénieurs en données.
Les ingénieurs en données sont essentiels aux initiatives GenAI. Ils seront en mesure de comprendre les données commerciales exclusives qui offrent un avantage concurrentiel par rapport à un ChatGPT, et ils construiront les pipelines qui rendront ces données disponibles pour le LLM via RAG.
Si vos ingénieurs en données ne sont pas présents, votre équipe de choc n'est pas au complet. Les entreprises les plus novatrices en matière de GenAI me disent qu'elles intègrent déjà des ingénieurs en données dans toutes les équipes de développement.
Gagner la course à l'IA générative
Si l'une de ces dures réalités s'applique à vous, ne vous inquiétez pas. L'IA générative en est à un stade si naissant qu'il est encore temps de recommencer, et cette fois, d'accepter le défi.
Prenez du recul pour comprendre les besoins du client qu'un modèle d'IA peut résoudre, impliquez les ingénieurs de données dès les premières étapes du développement pour assurer un avantage concurrentiel dès le départ, et prenez le temps de construire un pipeline RAG qui peut fournir un flux constant de données fiables et de haute qualité.
Et investissez dans une pile de données moderne pour faire de la qualité des données une priorité. Parce que l'IA générative sans des données de haute qualité, c'est juste beaucoup de vent.